ARD-Wintersportmoderatorin Lea Wagner fliegt wie eine Skispringerin durch die Lüfte. Was wie ein waghalsiger Stunt aussieht, entsteht in Wahrheit in Studio 6 des SWR: Wagner hängt in einem Gurt, die Schanze läuft als animierte Szene über eine gebogene LED-Wand. Die Wintersportwelt ist virtuell, der Test sehr real. Drei Monate lang hat der SWR hier ausprobiert, wie sich Virtual Production im Mehrkamera-Studio einsetzen lässt.
Im Zentrum stand eine klare Frage: Wie sinnvoll ist der Einstieg in Virtual-Production-Technologie, wenn in Stuttgart und Mainz in den nächsten Jahren große Studiobühnen erneuert werden müssen? Es geht um mehr als eine neue Kulisse. Der Sender wollte wissen, welchen Mehrwert virtuelle Sets im täglichen Produktionsalltag bringen, wie sie den Prozess verändern und welche Anforderungen sie an Technik, Grafik und Redaktion stellen.
„Wir wollen wissen, in welche Technologie wir investieren und welchen Mehrwert sie im Produktionsalltag bringt.“
Michael Eberhard, Technik- und Produktionsdirektor des SWR
Studio 6 als Versuchsbühne
Für den Proof of Concept wurde Studio 6 konsequent zum Labor umgebaut. Formate wie „Tigerenten Club“ oder „Sag die Wahrheit“ zogen temporär in ein Schwester-Studio um, damit in Baden-Baden eine vollwertige Virtual-Production-Umgebung entstehen konnte.
Kernstück ist eine rund zehn Meter breite, gekrümmte VERONA-LED-Wand von Sony. Sie bildet den virtuellen Raum, in dem sich später alles abspielt. Drei SWR-eigene Studiokameras wurden mit dem nagelneuen optischen Tracking-System Sony Ocellus ausgestattet. Im Hintergrund laufen mehrere Rechner, auf denen die Szenen in der Unreal Engine in Echtzeit berechnet werden.
Der Aufbau ging schneller, als der Umfang vermuten lässt. Projektleiter Matthias Paha beschreibt es so: „Bis die Hardware gestanden ist, das waren drei Tage.“ Die eigentliche Feinarbeit begann danach. Die Wand musste präzise gekurvt und ausgerichtet werden, die Trackingdaten mussten mit der Engine zusammenfinden, und parallel blieb der restliche Studiobetrieb im Haus weiter aktiv.
Aufnahmeleiter Alexander Bauer hatte indes die Aufgabe, die verschiedenen Fachbereiche zusammenzubringen. Studio 6 wurde zu einem dichten Treffpunkt aus Bildtechnik, Grafik, Licht, Regie und Redaktion. Der September diente dem Aufbau und internen Tests, im Oktober folgten erste große Produktionen, der November stand ganz im Zeichen redaktioneller Versuche.
So funktioniert das Mehrkamera-Setup
Der technische Kern des Projekts ist die Mehrkamera-Fähigkeit. Virtual Production ist im szenischen Bereich seit Jahren etabliert, oft aber mit nur einer Kamera. In einem klassischen Fernsehstudio ist diese Einschränkung kaum praktikabel.
Im SWR-Setup laufen sowohl die LED-Wand als auch die Global-Shutter-Kameras mit 100 Bildern pro Sekunde. Die Wand gibt dabei abwechselnd zwei Arten von Frames aus. In einem Bild steht die voll gerenderte 3D-Umgebung der gerade geschnittenen Kamera. Im nächsten Bild zeigt die Wand ein komplett grünes Frame. Aus dieser Folge baut jede Kamera zwei getrennte Signale mit je 50 Vollbildern: eines mit der 3D-Szene, eines mit dem Green-Frame.
Das Programmbild nutzt das 3D-Signal der aktiven Kamera. Für die anderen Kameras wird das grüne Signal genutzt, um ihre jeweils korrekte Perspektive in die virtuelle Welt zu berechnen und einzukeyen. Im Sucher sehen alle Kameraleute zu jeder Zeit „ihr“ fertiges Bild, auch wenn die LED-Wand physisch nur die Perspektive der geschnittenen Kamera zeigt. Für Regie und Bildtechnik bleibt damit die gewohnte Mehrkamera-Logik erhalten, ergänzt um eine virtuelle Ebene, die sich im Hintergrund dynamisch anpasst.
Tracking ohne Marker
Damit diese Illusion stabil bleibt, muss das System jederzeit wissen, wo die Kamera steht und wie sie ausgerichtet ist. Das Ocellus-System arbeitet markerlos. Statt Reflektoren oder Trackingpunkten im Studio nutzt es die vorhandene Umgebung.
Zu Beginn mussten die Beteiligten das Studio einmal „abgehen“. Bauer beschreibt den Prozess als „Rasenmäher-Prinzip“: Schritt für Schritt wird der Raum abgefahren, während das System markante Punkte erkennt – Traversen, Lampen, Geländer, Kanten. Aus diesen hunderten Referenzen entsteht eine Karte des Studios.
Auf dieser Basis errechnet Ocellus die genaue Position der Kamera im Raum, inklusive Neigung und Drehung. Hinzu kommen die Objektivdaten. Zoom, Fokus und Blende fließen in die Berechnung ein. Wenn der Operator heranzoomt, passt sich der virtuelle Ausschnitt synchron an. Wird die Schärfe gezogen, wandert auch der Fokus in der 3D-Szene mit. Die erstellte Map bleibt dabei persistent. Kameras können ausgeschaltet und wieder eingeschaltet werden, ohne dass das System neu kalibriert werden muss.
Kein „Fehler im System“
Der eigentliche Stresstest für das Setup war das Pen-and-Paper-Projekt „Fehler im System“. Zweimal vier Stunden streamte der SWR dafür live auf Twitch. Im Studio stand eine reale Kulisse mit beweglicher Wand. Öffnete sie sich, tauchten die Kameras in virtuelle Räume ein, schloss sie sich wieder, war die Produktion zurück im realen Set.
Paha machte deutlich, wie ambitioniert dieser Schritt war. Aus seiner Sicht war es „weltweit die erste Produktion in der Größe, in der Tiefe, in der Länge“, in der ein solches Setup mit drei getrackten Kameras live gefahren wurde. Jede Kamera wurde von einem eigenen Rechner mit einer eigens berechneten Unreal-Perspektive beliefert, die LED-Wand synchronisierte sich live, das Tracking lief durchgängig.
Das Ziel: Das System unter Volllast betreiben – und sehen, wann es versagt. Christian Borowski, Leiter des Grafik-Teams, formuliert es so: „Wir wollten das System bewusst stressen. Und es gab kaum Punkte, an denen es wirklich in die Knie gegangen ist.“
Was die Redaktionen mitgenommen haben
Nach dem Live-Härtetest ging es darum, das Studio in die Hände der Redaktionen zu legen. Im November erhielten unterschiedliche Bereiche die Möglichkeit, eigene Use Cases zu realisieren. Es ging um Trailer, Kochsendungs-Szenarien, Wissensformate und Podcast-ähnliche Setups vor der Wand. Viele dieser Drehs waren bewusst als Tests angelegt, unabhängig davon, ob die Inhalte später veröffentlicht werden.
Für die Grafikabteilung bedeutete der POC einen tiefen Einstieg in die Unreal Engine. Sets wurden weitgehend selbst gebaut, ergänzt durch Assets aus Shops, die in Textur, Licht und Materialität an die reale Studioumgebung angepasst werden mussten. Eine Besonderheit war der Umgang mit dem Boden. Um den Übergang zwischen realem Studioboden und virtuellem Raum zu kaschieren, wurde der Boden im Studio markant gestaltet und diese Textur als Grundlage im virtuellen Set weitergeführt. So entstand ein optisch geschlossener Raum, der beim Kameraschwenk nicht „abreißt“.
Bei all diesen Aspekten zeigte sich deutlich, wie konsequent die Arbeit in die Vorproduktion wanderte. Was früher in der Postproduktion aufwendig nachbearbeitet wurde, musste nun vor Drehbeginn stehen. Gleichzeitig war das Bild nach der Aufzeichnung näher am Endergebnis. Für Formate mit häufig wechselnden Varianten und wenig Zeit für aufwendige Postproduktion ist das ein relevanter Effekt.
Von Baden-Baden in die ARD
Mit dem Abbau der LED-Wand und der Rückgabe des Ocellus-Systems endet der POC formal. Inhaltlich beginnt nun die Auswertung. Die technischen Daten, Produktionsabläufe und redaktionellen Erfahrungen werden zusammengeführt, um eine Entscheidungsgrundlage für künftige Investitionen zu schaffen.
Klar ist: Die Erkenntnisse bleiben nicht in Baden-Baden. Das Projekt war von Beginn an auch für die ARD-Gemeinschaft gedacht. Kolleginnen und Kollegen aus anderen Häusern konnten sich vor Ort ein Bild machen, wie Virtual Production im Mehrkamera-Studio läuft und wie sich der Prozess gegenüber klassischen Produktionen verändert.
Ob am Ende ein fest installiertes Virtual-Production-Studio in Stuttgart, Mainz oder Baden-Baden steht, ist noch offen. Der POC hat aber gezeigt, dass sich reale Studioarbeit, Mehrkamera-Regie und live gerenderte 3D-Umgebungen sinnvoll verbinden lassen. Und dass eine Szene wie der Sprung von Lea Wagner nicht zwingend eine Reise in die Berge braucht, sondern mit der richtigen Technik auch wenige Meter neben der Regie entstehen kann.
