Stargate-Gründer, prämierter VFX-Schöpfer und Mitglied der American Society of Cinematographers Sam Nicholson, entwickelte das Konzept des Echtzeit-Compositings bereits Anfang des neuen Jahrtausends, als es in der Produktionsbranche aufgrund der Terroranschläge am 11. September 2001 zum Stillstand kam. „Es war plötzlich nicht mehr möglich, zum Filmen an den jeweiligen Drehort zu reisen“, erzählte Nicholson. „Es stellte sich daher die Frage, ob es möglich wäre, Emergency Room weiterhin am Schauplatz Chicago, CSI und Ugly Betty in New York und Grey’s Anatomy in Seattle spielen zu lassen, ohne dafür L. A. verlassen zu müssen.“
Durch cleveres Produktionsdesign, umfangreiche Plate-Shootings und den Einsatz von Greenscreens am Set gelang es Nicholsons Team, alle von der Firma betreuten Sendungen in virtuelle Produktionen umzuwandeln. „Es war die Geburtsstunde unseres ‚Stargate Virtual Backlots‘, wofür wir 360-Grad-Aufnahmen von allen möglichen Städten weltweit in Hochauflösung einfingen“, so Nicholson. Mit über 300.000 Clips ist Stargate Studios Sammlung virtueller Studiogelände die mittlerweile größte Set- und Set-Erweiterungsbibliothek der Welt.
Doch um die perfekte Lösung handelte es sich dabei nicht. Der Einsatz von Greenscreens am Set war nicht optimal, da Regisseure und Schauspieler ihre Kreativität vor dem eintönigen Hintergrund nicht recht entfalten konnten. Auch DoPs empfanden es als Herausforderung, die Beleuchtung einem Hintergrund anzupassen, den sie nicht vor Augen hatten. Hinzu kamen noch der zeitliche Mehraufwand und die zusätzlichen Kosten für das Szenen-Compositing in der Postproduktion. Doch Nicholson war sich sicher, dass es einen besseren Weg geben musste. Er fragte sich, ob es möglich wäre, das sonst erst in der Postproduktion Erreichte auch in Echtzeit umzusetzen und bereits am Set fertige Bilder zu generieren.
Und so brachte Nicholsons Team seine bis dahin gewonnenen Erkenntnisse in seine nächste Produktion mit ein, HBOs neue Serie „Run“. In der Serie reisen die Figuren mit dem Zug durch die USA. In Wirklichkeit wurde das kanadische Toronto für die Produktion aber nie verlassen. „In der Vorproduktion stellte sich heraus, dass wir mit mehreren Blackmagic Design DeckLink 8K Pro Karten zehn 8K-Streams gleichzeitig an eine Epic Unreal Gaming-Engine schicken konnten, um das Footage auf 40 4K-Monitoren an einem 45 Meter langen Eisenbahnset in Echtzeit abzuspielen.“
Mithilfe eines hausintern entwickelten Tracking- und Beleuchtungstools entstanden so fotorealistische, sich an den Zugfenstern vorbei bewegende Bilder mit animierter Beleuchtung, die in Echtzeit auf den Shot abgestimmt wurden. „Wir produzierten die gesamte Serie mit diesem System, das wir mittlerweile ‚ThruView‘ getauft haben.“
ThruView basiert auf einer Mischung aus proprietären und frei verkäuflichen neuen Technologien, die sich immer mehr zu robusten und betriebssicheren Tools mausern. „Wir bei Stargate haben ziel- und drahtloses Kameratracking sowie ein RGBW-DMX-Beleuchtungssystem mit Pixelzuordnung entwickelt. Technologien wie die 8K-Bilderfassung sind jetzt mit Blackmagic Designs 8K-Playback-Karten und DaVinci Resolve Studio für Onset-Farbkorrekturen kompatibel“, erklärte Nicholson. Erschwingliche 4K-Bildschirme, immer feinkörnigere, modulare LED-Panels, Nvidias beschleunigte GPU-Grafik-Prozessoren und die Unreal 4 Gaming-Engine von Epic in Kombination mit Blackmagic Design Produkten haben ThruView für Stargate überhaupt erst möglich gemacht. „Die Herausforderung bestand darin, diese ganzen unterschiedlichen Technologien verlässlich und dauerhaft miteinander zu verknüpfen, um dem Druck der Live-Action bei Mehrkameradrehs standzuhalten.
„Das ThruView-Team von Stargate hatte am ‚Run‘-Set drei Davinci Resolve Studio Systeme gleichzeitig im Einsatz“, so Nicholson. „Für die Koordination aller unserer Playback-Inhalte am Set haben wir uns auf mehrere Davinci Resolve Stationen verlassen. Resolves Echtzeit-Farbkorrektur, Schnitt-Tools und Fusion VFX waren für die Bearbeitung dieser Masse an hochauflösender Footage in einer so rasanten Live-Action-Umgebung unabdingbar.“
Doch neben Resolve und den DeckLink 8K Pro Karten beinhaltet auch der Systemkern von ThruView diverse Blackmagic Design Produkte. Dazu zählen mehrere Smart VideoHub 12G Kreuzschienen, DaVinci Resolve Micro Panels, eine UltraStudio 4K Extreme, ein Teranex AV Normwandler, eine Vielzahl an Micro und Mini Converters sowie ein ATEM Constellation 8K, der bei der Verarbeitung der hochauflösenden Bilder eine große Rolle gespielt hat.
„Die Echtzeitproduktion von virtuellen Umgebungen, bei der fotografische und computergenerierte Inhalte miteinander kombiniert werden, entwickelt sich durch stets schneller werdende Prozessoren, größer werdende Speicher sowie billiger und haltbarer werdende LED-Bildschirme zur neuen Norm“, sagte Nicholson. „Virtuelle Produktionen bieten eine praktische Lösung für die Probleme, vor die wir uns zurzeit gestellt sehen. Es ist viel einfacher, den Drehort an den Produktionsort zu verlegen als eine gesamte Produktion an einen Drehort. Dennoch sollte man sich bewusst sein, dass virtuelle Produktionen nicht für jede Art von Projekt geeignet sind. Dafür bedarf es einer sorgfältigen Vorproduktion, in der kreative Inhalte geschaffen und die jeweiligen Technologien, die letztendlich beim Dreh zum Einsatz kommen, getestet werden.“
Trotz der Vorsicht ist Nicholson überzeugt, dass sich die Branche immer weiter in Richtung virtuelle Produktionen bewegt. Und ThruView ist bereit, sich der Herausforderung zu stellen. „Ich habe das Gefühl, dass unser System in den nächsten Jahren ca. 50 % aller Greenscreendrehs weltweit ersetzen wird. Unser System ist ideal, weil es funktioniert und weil es – dank Blackmagic Designs Produkten – zu einem angemessenen Preis angeboten werden kann. So gut Hardware auch sein mag, sie ist nicht gut genug, wenn man sie sich nicht leisten kann.“
