Videostreaming auf dem PC mit den Browsern Google Chrome und Microsoft Edge erhält mit der Veröffentlichung von RTX Video Super Resolution (VSR) von GeForce RTX ein Upgrade.
Fast 80 % der Internetbandbreite wird heute für Videostreaming verwendet. Und 90 % dieser Inhalte werden mit 1080p oder niedriger gestreamt, darunter von beliebten Quellen wie Twitch.tv, YouTube, Netflix, Disney+ und Hulu.
Wenn die Zuschauer jedoch Bildschirme mit einer höheren Auflösung als 1080p verwenden – was bei vielen PC-Nutzern der Fall ist – muss der Browser das Video skalieren, um es an die Auflösung des Bildschirms anzupassen. Die meisten Browser verwenden einfache Upscaling-Techniken, die zu weichen oder unscharfen Bildern führen.
Mit RTX VSR können Benutzer von GeForce RTX 40- und 30-GPUs mithilfe von AI Inhalte mit niedrigerer Auflösung auf 4K hochskalieren und an die Auflösung ihres Bildschirms anpassen. Die KI entfernt Kompressionsartefakte und verbessert die Schärfe und Klarheit des Videos.
Die Entwicklung von AI Upscaling
Bei AI Upscaling werden Medien mit niedriger Auflösung in eine höhere Auflösung konvertiert, indem Bilder mit niedriger Auflösung einem Deep-Learning-Modell unterzogen werden, um die hochauflösenden Versionen vorherzusagen. Um diese Vorhersagen mit hoher Genauigkeit treffen zu können, muss ein neuronales Netzwerkmodell mit unzähligen Bildern unterschiedlicher Auflösung trainiert werden.
Das eingesetzte KI-Modell ist dann in der Lage, aus niedrig aufgelösten Videos eine Schärfe und Detailtreue zu erzeugen, die laut Nvidia kein herkömmlicher Scaler nachbilden kann. Kanten sollen schärfer, Haare struppiger und Landschaften in eindrucksvoller Klarheit erscheinen.
Eine erste Version dieser Technologie wurde 2019 mit SHIELD TV veröffentlicht. Dies war ein Durchbruch, der Streaming-Inhalte für Fernsehgeräte verbesserte, die in der Regel im Bereich von 480p bis 1080p liegen und für ein Seherlebnis aus einer Entfernung von 10 Fuß optimiert sind.
PC-Zuschauer sitzen in der Regel viel näher an ihren Bildschirmen als Fernsehzuschauer, was ein höheres Maß an Verarbeitung und Verfeinerung für die Hochskalierung erfordert. Mit den Grafikprozessoren der Serien GeForce RTX 40 und GeForce RTX 30 stehen den Anwendern jetzt extrem leistungsfähige KI-Prozessoren mit Tensor Cores zur Verfügung, die mit RTX VSR eine neue Generation des KI-Upscaling ermöglichen.
So funktioniert RTX Video Super Resolution
Nividia spricht bei RTX VSR von einem Durchbruch in der KI-Pixelverarbeitung, der die Qualität von gestreamten Videoinhalten über die Kantenerkennung und das Schärfen von Merkmalen hinaus deutlich verbessern soll.
Blockartige Kompressionsartefakte sind ein ständiges Problem bei Videostreams. Unabhängig davon, ob sie durch den Server, den Client oder den Inhalt selbst verursacht werden, werden diese Probleme häufig durch herkömmliches Hochskalieren verstärkt, was zu einem weniger angenehmen visuellen Erlebnis für den Betrachter des gestreamten Inhalts führt.
RTX VSR reduziert oder beseitigt Artefakte, die durch die Komprimierung von Video entstehen – wie Blockbildung, Ringing-Artefakte an Kanten, Auslöschung hochfrequenter Details und Banding in flachen Bereichen – und reduziert gleichzeitig den Verlust von Texturen. Darüber hinaus werden Kanten und Details geschärft.
Die Technologie verwendet ein Deep-Learning-Netzwerk, das die Hochskalierung und die Reduktion von Kompressionsartefakten in einem einzigen Durchgang durchführt. Das Netzwerk analysiert das Videobild mit niedrigerer Auflösung und sagt das Restbild in der Zielauflösung voraus. Dieses Restbild wird dann über ein herkömmliches hochskaliertes Bild gelegt, wobei Artefaktfehler korrigiert und die Kanten geschärft werden, um es an die Ausgabeauflösung anzupassen.
Das Deep-Learning-Netzwerk wird mit einer Vielzahl von Inhalten mit unterschiedlichen Kompressionsstufen trainiert. Durch eine umfassende visuelle Evaluierung soll sichergestellt werden, dass das generierte Modell für nahezu alle realen und simulierten Inhalte effektiv ist.
Erste Schritte
RTX VSR benötigt einen Grafikprozessor der GeForce RTX 40- oder 30-Serie und funktioniert mit fast allen Inhalten, die in Google Chrome und Microsoft Edge gestreamt werden.
Die Funktion erfordert außerdem ein Update auf den neuesten GeForce Game Ready Treiber, der ab sofort verfügbar ist, oder auf den nächsten NVIDIA Studio Treiber, der im März veröffentlicht wird. Sowohl Chrome (Version 110.0.5481.105 oder höher) als auch Edge (Version 110.0.1587.56) wurden kürzlich aktualisiert, um RTX VSR zu unterstützen.
Um diese Funktion zu aktivieren, muss die NVIDIA Systemsteuerung geöffnet werden. Unter “Videobildeinstellungen anpassen” kann unter “RTX Video Enhancement” das Kontrollkästchen “Super Resolution” aktiviert werden. Es stehen verschiedene Qualitäten von eins bis vier zur Verfügung – von der geringsten Auswirkung auf die GPU-Leistung bis zur höchsten Stufe der Upscaling-Verbesserung.
