Aus einem World Feed mehrere lokalisierte Programmvarianten für internationale Medienpartner erzeugen: Wie das mit KI-gestützten Diensten und einer weitgehend cloudbasierten Infrastruktur funktionieren könnte, hat die Bundesliga zusammen mit LOGIC media solutions beim Franz Beckenbauer Supercup vorgestellt. Die Bundesliga und der AWS-Medienexperte zeigte den Workflow im Rahmen der Innovation Lounge der Bundesliga.
Ausgangspunkt ist der bestehende internationale World Feed mit englischem Kommentar und englischen Grafiken. Der von LOGIC aufgebaute Workflow greift dieses Signal auf und verteilt es an unterschiedliche Dienstleister, die einzelne Bestandteile lokalisieren. Dazu gehören Grafiken, Kommentar und Untertitel. Zusätzlich wurde eine Variante mit Gebärdensprache eingebunden.
„Im Rahmen unserer Innovationsaktivitäten und der langjährigen Zusammenarbeit mit AWS beobachten wir die technologischen Entwicklungen im Bereich KI-gestützter Medienlokalisierung sehr genau. Gemeinsam mit unseren Partnern prüfen wir daher, welche Potenziale und Mehrwerte sich daraus künftig für unser globales Medienprodukt ergeben könnten“, sagt Dominik Scholler, SVP Product Management & Innovation bei der Bundesliga Media GmbH.
„Wir sind als Workflow Manager in dem Projekt und schauen, dass alles zusammenläuft“, erklärt Friederike Fluit, Solution Architect bei LOGIC media solutions. Gemeinsam mit ihrem Kollegen Benjamin Kleber hat sie den Workflow zunächst als Proof of Concept aufgebaut und für die Präsentation beim Supercup weiterentwickelt.
Technisch befindet sich das Projekt in einer Proof of Concept-Phase. Die einzelnen Bausteine weisen dabei unterschiedliche Reifegrade auf, sodass einige bereits näher an einem produktiven System sind als andere. Beim Supercup wurden die Live-Signale des Spiels verarbeitet, gleichzeitig bestehen bei Integration, Latenz und der Bewertung der KI-Ergebnisse noch offene Punkte die von der Bundesliga (ehemals DFL) final ausgewertet werden müssen.
Unterschiedliche Anbieter für Grafik und Sprache
Eine Besonderheit des Versuchs ist, dass die einzelnen Aufgaben nicht von einer einzigen Plattform übernommen werden. Stattdessen integriert LOGIC mehrere spezialisierte Systeme in den Workflow und stellt diese über AWS bereit.
Für die Lokalisierung der Grafik wurden zwei unterschiedliche Ansätze getestet. Vizrt arbeitet laut LOGIC mit einem klassischen Grafikworkflow und mehreren Engines. Mobii Systems nutzt dagegen Computer Vision, um Änderungen der Grafiken im eingehenden Videosignal zu erkennen und in einer nachgebauten Grafik entsprechend nachzuführen. Die eigentlichen Übersetzungen der grafischen Begriffe sind dabei vorgegeben.
Auch beim Kommentar und den Untertiteln werden unterschiedliche Verfahren erprobt. CAMB.AI verarbeitet den englischen Originalkommentar und erzeugt daraus lokalisierte Sprachfassungen. ValkaAI hingegen generiert auf Basis der Live-Daten aus dem Stadion und des Videobildes einen gänzlich neuen Kommentar und Untertitel, statt den vorhandenen zu übersetzen. Beim Supercup lief dieser Teil allerdings noch nicht live, sondern wurde anhand von aufgezeichnetem Material demonstriert.
Für die Gebärdensprache war eine Lösung von Signapse AI in Zusammenarbeit mit G&L Geißendörfer und Leschinsky eingebunden. Im Live-Test übersetzte das System in amerikanische Gebärdensprache; an einer deutschen Variante wird nach Angaben des Dienstleisters noch gearbeitet und soll zeitnah auf den Markt kommen. Im Programmbild wurde die Gebärdensprache als Picture-in-Picture dargestellt. Technisch sind auch andere Darstellungsformen möglich, deren Einsatz sich nach den Anforderungen des Kunden beziehungsweise Streaming-Anbieters richtet.
AWS verbindet die einzelnen Dienste
Zusammengeführt werden die unterschiedlichen Systeme auf einer Infrastruktur von Amazon Web Services. Die Live-Signale gelangen über SRT und HLS in den Workflow und werden anschließend passend an die jeweiligen Anbieter weitergeleitet. Die bearbeiteten Feeds kommen zurück in die AWS-Umgebung und werden dort für die weitere Verarbeitung bereitgestellt.
Für den Signaltransport setzt LOGIC vor allem AWS Elemental MediaConnect ein. MediaLive wird im aktuellen Aufbau für die Aufzeichnung verwendet, MediaPackage erzeugt die HLS-Streams für die Präsentationsplattform. Die Aufzeichnungen selbst landen in einem Amazon S3 Bucket.
Die zusätzliche Aufzeichnung ist dabei Teil des Versuchsaufbaus. Bundesliga, LOGIC und die beteiligten Partner können damit nach dem Spiel unter anderem die Qualität der Übersetzungen untersuchen.
Dass AWS die technische Basis bildet, kommt nicht von ungefähr. Die Bundesliga arbeitet bereits seit 2020 mit AWS als Technologiepartner zusammen und setzt dessen Cloud- und KI-Dienste für unterschiedliche Fan-, Daten- und Medienanwendungen ein. Und auch LOGIC gehört zum Partnernetzwerk des US-amerikanischen Hyperscalers.
Variable KI-Latenzen erschweren den AV-Sync
Eine Herausforderung beim Aufbau des Workflows waren die unterschiedlichen Verarbeitungszeiten der beteiligten Systeme. Das zeigte sich unter anderem bei der Kombination aus lokalisierter Grafik und übersetztem Kommentar. In einem ersten POC während der Sommerpause hatte LOGIC beide Prozesse parallel laufen lassen und die zurückkommenden Video- und Audiosignale anschließend wieder zusammengeführt und synchronisiert.
Beim Supercup wählte das Team für Vizrt und Camb.AI einen anderen Weg und schaltete beide Systeme hintereinander. Zunächst versah Vizrt den World Feed mit der lokalisierten Grafik, anschließend erzeugte Camb.AI auf Basis dieses Signals die übersetzte Sprachfassung. Eine nachträgliche Synchronisation der separat verarbeiteten Ergebnisse war damit nicht mehr erforderlich.
Bei ValkaAI stellte sich die Synchronisationsfrage an einer anderen Stelle. Der Dienst generiert einen neuen KI-Kommentar und greift dafür auf 3D Daten aus dem Stadion sowie das Live-Bild zurück. Da diese Eingangssignale mit unterschiedlichen Verzögerungen vorliegen können, müssen sie für die Verarbeitung zeitlich aufeinander abgestimmt werden.
Unterschiede zwischen den eingesetzten Verfahren zeigen sich auch bei der Verarbeitungsdauer. Klassisch erzeugte Grafiken verursachen nur wenige Frames zusätzliche Latenz. Die beim Supercup getestete KI-basierte Grafikverarbeitung benötigte dagegen teilweise drei bis vier Sekunden. Bei der Sprachverarbeitung streben die beteiligten Anbieter laut Kleber etwa zehn bis zwölf Sekunden an; im aktuellen Versuchsaufbau wurden teilweise noch rund 25 bis 30 Sekunden erreicht. Bei einigen Diensten lässt sich dabei zwischen geringerer Latenz und höherer Verarbeitungsqualität abwägen.
Zusätzliche Sprachversionen für weitere Märkte
Für den möglichen Einsatz des Localized World Feed ist aber nicht allein die Latenz entscheidend. Der Ansatz zielt vor allem darauf, auf Basis der bestehenden internationalen Produktion zusätzliche Sprachversionen für weitere Märkte bereitzustellen. Interessant ist das insbesondere dort, wo eine Lokalisierung seitens des Medienpartners aus wirtschaftlichen oder organisatorischen Gesichtspunkten nicht stattfindet.
Langfristig könnte das Konzept noch granularer werden. Medienpartner könnten beispielsweise englische Grafiken und englischen Kommentar mit lokalisierten Untertiteln kombinieren oder andere Bestandteile individuell auswählen. Genau das würde die technische Architektur allerdings anspruchsvoller machen: Statt komplette, bereits bearbeitete Feeds zwischen den Systemen auszutauschen, müssten einzelne Video-, Audio-, Grafik- und Datenebenen getrennt verarbeitet und anschließend wieder synchron zusammengeführt werden.
Bundesliga wertet Ergebnisse aus
Ob aus dem Versuch ein produktiver Dienst wird, ist noch offen. Zunächst sollen die Bundesliga und Projektpartner das aufgezeichnete Material auswerten. Neben der technischen Funktion spielt dabei insbesondere die Qualität der automatisierten Übersetzungen eine Rolle.
Hinzu kommt die Frage, wie tief ein solcher Workflow künftig in die bestehende World-Feed-Produktion integriert werden soll. Beim Supercup dockte LOGIC mit seinem System an die vorhandene Produktion an. Eine produktive Lösung könnte dagegen einen früheren Zugriff auf Signale und Daten sowie eine engere Verzahnung mit den Produktionssystemen erfordern.
Auch die beteiligten Dienstleister stehen noch nicht endgültig fest. Nach Angaben der Bundesligagibt es weitere Hersteller, die für zukünftige Tests infrage kommen. Im derzeitigen Aufbau lassen sie sich vergleichsweise einfach austauschen, weil LOGIC komplette Feeds an die jeweiligen Dienste übergibt und verarbeitet zurückerhält. Bei einer enger integrierten Architektur würde der Engineering-Aufwand deutlich steigen.
Kurzfristig wird daher noch kein produktiver Einsatz erwartet. Der Supercup diente zunächst dazu, unter Live-Bedingungen herauszufinden, wie weit sich ein bestehender World Feed heute automatisiert lokalisieren lässt – und an welchen Stellen für einen regulären Broadcast-Betrieb noch Arbeit nötig ist.
