Anfang des Jahres erhielt das Fraunhofer HHI zwei Auszeichnungen der Advanced Imaging Society (AIS), den Technology Innovation Award und den erstmals verliehenen Distinguished Leadership Award, der an Sie persönlich ging. Was bedeutet diese Auszeichnung für Sie?
Sehr viel, weil man mit der Auszeichnung ein Zeichen setzen und Frauen im Technologiebereich sichtbarer machen will. Um das zu erreichen, wurden im ersten Durchgang nur Frauen nominiert und letztendlich 13 ausgezeichnet. Als der Award im Herbst 2017 ausgerufen wurde, war #metoo ganz groß und es war definitiv eine politische Entscheidung. Doch nichtsdestotrotz. Die Absicht dahinter war, Frauen auszuzeichnen, die sich im Gegensatz zu Männern nicht immer mit ihren Errungenschaften und Leistungen brüsten, und sie so nach vorne ins Rampenlicht zu holen.
Den AIS Technology Innovation Award 2018 erhielt das Fraunhofer HHI für 3D Human Body Reconstruction. Wobei geht es dabei?
Die Advanced Imaging Society ist ein Zusammenschluss der US-Filmstudios, ursprünglich um 3D-Technologie gemeinsam zu entwickeln und zu fördern – heute geht es neben 3D auch um andere Bildtechnologien wie UHD oder VR/AR. Die Society vergibt Auszeichnungen, die diese Technologie nach vorne bringt sowie den Distinguished Leadership Award. Den Technology Innovation Award haben wir für unsere Arbeiten im Bereich volumetrisches Video erhalten. Für diese Technology Awards kann man einreichen, für den Distinguished Leadership Award wird man benannt.
Was ist das volumetrische Studio?
Darin kann man Personen so filmen, dass man ihre Abbilder später in entsprechenden Virtual- oder Augmented-Reality-Anwendungen als 3D-Elemente einstellen kann, um die man herum gehen kann. Am 12. Juni haben wir im Studio Babelsberg das kommerzielle Studio eröffnet. Das Studio bei uns im Institut wird als Entwicklungsstudio behalten. Unser Ziel ist es, mit dem volumetrischen Studio eine komplette Plug-and-Play-Anwendung für die Produzenten zu schaffen. Es darf nicht vergessen werden, dass wir mit dem Studio nicht nur VR, sondern auch AR ermöglichen können. Bei der technischen Herstellung gibt es da keinen Unterschied, da die aufgenommene Person bzw. der Gegenstand freigestellt ist und überall hinein gestellt werden kann.
Gibt es ein konkretes Projekt, mit dem die Möglichkeiten des Studios weiter entwickelt werden?
Ja. Wir arbeiten mit den Berliner Unternehmen IN VR und Trotzkind in einem geförderten Projekt für ein interaktives VR-Experience. Wir arbeiten mit Handtrackern und Joysticks und nutzen das Headtracking in der VR Brille. Die aufgenommenen Personen sollen später mit dem Betrachter, der sich in der Virtual Reality aufhält, interagieren können, ihn also ansehen bzw. auf seine Bewegungen reagieren können. Ich habe die Beta-Version gesehen und in der VR hat die VR-Person ihre Hände wie auch ihren Kopf parallel zu mir bewegt. Dadurch wird es tatsächlich interaktiv. Dann sprechen wir nicht mehr von einem begehbaren Film, von dem man ja trotz allem kein Teil ist, da man sich zwar in ihm bewegen aber nicht mit den Personen und Geschehnissen darin interagieren kann, sondern von einer echten Interaktion. Denn wenn die Personen in der VR mich ansehen und meinen Bewegungen folgen bzw. auf sie reagieren, dann wird es erst richtig spannend.
Wie groß ist das Interesse von Produzenten an der Technologie?
Das Interesse ist da. Um die Nachfrage zu bedienen und gleichzeitig weiter forschen und den Workflow voran bringen zu können, haben wir ein zweites volumetrisches Studio für die kommerzielle Nutzung gebaut, das nun im fx.center im Studio Babelsberg steht. Dafür haben wir als Fraunhofer-Gesellschaft mit dem Studio Babelsberg, Arri Cine Technik, Interlake und der UFA die Betreibergesellschaft Volucap GmbH gegründet. Für uns ist es wichtig, dass das Studio in der ‚Capital Region‘ steht. Wir haben es hier entwickelt und es soll den Standort stärken. Tatsächlich tut es das über die große Nachfrage auch schon.
Auf welche Inhalte fokussiert sich das Interesse der Produzenten augenblicklich? Lässt sich da ein Muster erkennen?
In den USA ist es so, dass die Studios damit anfangen ihre Superstars einzuscannen, um ein 3D-Modell von ihnen zu bekommen. Das können neben bekannten, echten Personen auch Superhelden und andere sein. Hierzulande kommen Anfragen aus dem Gaming-Bereich, in dem es um Interaktion geht sowie aus den Bereichen Musik und Edutainment. Bei Edutainment sind es oft Broadcaster, die ihre Online-Angebote um VR- bzw. AR-Apps ergänzen und bei der Musik ist es so, dass die Musiker zusammen, aber auch getrennt aufgenommen werden, um eine Art Merchandising zu haben. Man kann dann die Musiker in der App neu anordnen, was ja einen Einfluss auf die Musik hat. Tatsächlich habe ich selbst nicht gedacht, dass die Nachfrage aus Deutschland so schnell, so stark wird. Es ist ja eher so, dass man auf den einschlägigen Konferenzen immer die US-Beispiele hat, wodurch die Wahrnehmung dahin gehend verändert wird, was hierzulande gemacht wird.
Der WDR und das ZDF machen viel mit VR und AR, haben die hier auch schon angeklopft?
Angeklopft, also sich informiert, haben sich hier schon so gut wie alle, aber über konkrete Pläne kann ich natürlich nicht sprechen.
Zur Technik: Über wie viel Terrabyte erzeugtem Datenvolumen reden wir beim volumetrischen Studio eigentlich?
Da sich das permanent im Entwicklungsprozess des Workflows ändert, reden wir darüber nicht. Ziel ist es aber das Datenvolumen pro Frame immer weiter zu verringern. Einerseits durch Komprimierung, anderseits indem wir überlappende Bildteile ausschließen. Aber was ich sagen kann, ist dass wir im letzten November für eine Minute Bewegtbild eine Renderingzeit von drei bis vier Stunden hatten. Nun ein halbes Jahr später sieht das alles schon anders aus, aber wir haben immer noch Spielraum nach oben.
In welche Richtung geht die Forschung noch?
Neben Komprimierung und Geschwindigkeit vor allem in die Verbesserung des Algorithmus. Wir wollen die Personen so realistisch wie möglich darstellen. Wir wissen, dass es möglich ist kleinste Details sichtbar zu machen: Falten, Zwischenräume etwa zwischen den Fingern und so weiter. Doch dafür müssen wir auch die entsprechende Arbeit rein stecken. Ich habe bei Mitbewerbern häufig gesehen, dass Details in Flächen verschwinden, weil das einfacher und schneller herzustellen ist. Das wollen wir aber nicht, wir wollen Detailreichtum.
Eine weitere Herausforderung sind die Überschneidungskanten der Kameras, also dort, wo das Bild zusammen gestitcht wird. Es dürfen keine Übergänge oder Unsauberkeiten zu erkennen sein. Hier gibt es drei Stellen, an denen man arbeiten kann und die sich auch beeinflussen: die Kalibrierung der Kamera, der Algorithmus und das Stitching. Wir wollen dahin kommen, dass nichts manuell gemacht werden muss, sondern automatisch abläuft – idealerweise irgendwann in Echtzeit. Aber wir möchten nicht zu viel versprechen und zu früh einen Zeitpunkt dafür nennen.
Das Ziel ist tatsächlich, dass man mit einem Hologramm
interagieren kann, als ob es ein echter Mensch sei – also so wie das auf dem, in solchen Fällen gerne zitierten, Holodeck der Star Trek-Serien möglich ist und nicht wie die halbdurchsichtigen Projektionen in den Star Wars-Filmen?
Ja, das ist das Ziel.
Wie realistisch wäre ein Holodeck denn wirklich?
Nicht besonders, da es physikalisch nach nicht möglich ist. Sprechen wir von einer Echtzeitanwendung, sagen wir die Übertragung für ein Konferenzgespräch, dann kommen wir der Sache schon näher. Wir kommen aus der Echtzeitanwendung, da die Kollegen, die mit der Entwicklung des volumetrischen Studios befasst sind, schon vor zehn Jahren an einer Art Skype 2.0 gearbeitet haben. Das war eine Videowand, auf die wir ein Videokonferenz-System gebracht haben, das mit mehreren Kameras ausgestattet war. Auftraggeber war ein chinesisches Telekommunikationsunternehmen, das wollte, dass die gesamte Person, der gesamte Raum dargestellt wird und außerdem noch einen 3D-Effekt hat. Das musste natürlich alles in Echtzeit sein, was die Kollegen hinbekommen haben und was die Grundlage unserer Forschung für volumetrisches Video ist.
Parallel zu Ihren Entwicklungen muss am Display gearbeitet werden. Noch sieht man die Gitterstruktur, wodurch die Vortäuschung einer anderen Realität zunichte gemacht wird.
Wie sieht es auf dieser Baustelle aus?
Flaschenhälse sind Datenleitung und Displays. Dadurch muss alles runter gerechnet werden und der Verbraucher denkt, ist ja alles nicht so dolle, obwohl das Ausgangsmaterial brillant sein kann. Es kann nur nicht dargestellt werden. Die VR-Brillen müssten 8K pro Auge haben.
Es gibt erste Prototypen mit 8K-Displays , aber die sind teuer und hohe Qualität lässt sich wenn überhaupt nur stationär zu Hause realisieren und ob das wirklich 8K ist…. Die angesprochene Gitterstruktur ist übrigens der Rand der Pixel. Der rutscht unter die Wahrnehmungsschwelle, wenn die Pixel nur nah genug aneinander rücken. Andererseits geht man davon aus, dass es OLEDs geben wird, die durchsichtig sind oder die aussehen wie ein Fenster und wenn gewünscht, verwandeln sie sich in Fernseher. Prototypen gibt es schon seit einiger Zeit, aber die Frage ist immer, wann solche Entwicklungen massentauglich werden, was letztendlich mit dem Preis und dem Interesse der Hersteller zu tun hat. Hier im Showroom haben wir professionelle autostereoskopische 3D-Monitore, die in OPs für minimalinvasive Eingriffe genutzt werden, die aber nie für den Konsumentenmarkt weiterentwickelt wurden.
Das war übrigens eine Entscheidung der Industrie, für den Heimmarkt doch lieber 3D-Fernseher anzubieten, für die man eine Brille braucht. Aber mal sehen, was kommt. Jetzt spricht man gerne von aufrollbaren Displays. Haben wir in zehn Jahren noch Smartphones wie wir sie heute kennen? Man darf nicht vergessen: das erste Smartphone kam erst 2007 auf den Markt! Die Entwicklungen sind rasant.
Inwiefern ist die Fraunhofer-Gesellschaft an der Entwicklung von Displays und anderen Technologien des audio-visuellen Bereichs beteiligt?
Da kann ich kurz antworten: in allen! Das Heinrich-Hertz-Institut ist eines von 72 Instituten der Fraunhofer-Gesellschaft. Man kann davon ausgehen, dass Fraunhofer in jedem Segment unterwegs ist – egal wie tief. Wenn man eine Konferenz zum Thema Künstliche Intelligenz der Fraunhofer-Gesellschaft besucht, dann wird man sehen, dass etwa 20 unserer Institute zu dem Thema arbeiten. Im Bildbereich gibt es eine Allianz innerhalb der Fraunhofer-Gesellschaft, in der vier Institute zusammen arbeiten.
Das sind wir und unter anderem das Fraunhofer-Institut für Integrierte Schaltungen IIS, das in Erlangen sitzt, und dann sind wir natürlich auch in den anderen Gremien unterwegs, so dass wir gegenseitig immer grob wissen, was wir machen und uns gegebenenfalls zusammen tun können. Wir sind ja nicht nur in der Consumer Electronic unterwegs. Das ist eine gute Sache für die Aufmerksamkeit, aber was wir hier entwickeln, können wir auch in anderen Bereichen unterbringen, zum Beispiel in der Medizintechnik. Bereiche, wo es unter Umständen nicht so viele Forschungsmittel gibt. Die Technologie hinter 3D-Endoskopen etwa wurden entwickelt, um für Naturfilme in Mäuselöcher oder Insektennester gucken zu können. Aber sie ist auch überaus nützlich in der risikominimierten, minimalinvasiven Chirurgie, wenn der Operateur an Joysticks und einem 3D-Monitor steht, um die OP durchzuführen.
Wo liegen die Schwerpunkte des Fraunhofer HHI?
Wir sind stark an der Standardisierung der Videokomprimierung beteiligt, das wäre H.265, auch als HEVC bekannt, was man für die Übertragung von UHD benötigt. Im April 2018 gab es die ersten Veröffentlichungen zum Nachfolgestandard H.266. Wir sind auch in der Komprimierung des 5G-Standards der Mobilfunknetze involviert. Was Visualisierung betrifft, sind wir mit dem IIS und anderen Instituten, die mehr an Industrieanwendungen beteiligt sind, ganz vorne mit dabei. Daher haben wir auch das 3IT für immersive Bildtechnik gegründet. Wir zeigen, dass wir schon seit 30 Jahren Forschung für Bildtechnik betreiben, die sowohl in den Unterhaltungs- als auch im Medizinbereich zu Hause ist. Das wird von den Bundesministerien gerne gesehen, weshalb wir auch in vielen geförderten Projekten gemeinsam mit verschiedensten Firmen aus der Industrie, egal, ob sie nun Großunternehmen oder Mittelständler sind, zusammenarbeiten.
Wie funktioniert das Modell Fraunhofer/Wirtschaftsunternehmen? Wie arbeiten Sie zusammen oder vergibt Fraunhofer lediglich Lizenzen?
Lizenzierung hat beim Heinrich-Hertz-Institut in der Tat einen großen Anteil. So wie es beim IIS der mp3-Standard war, ist es bei uns der H.264, der H.265 und dann hoffentlich in weiter Zukunft der H.266-Standard. Das Modell ist: Fraunhofer entwickelt für die Industrie. Wir sind sozusagen die Forschungs- und Entwicklungsabteilung jener Unternehmen, die sich eine eigene F[&]E Abteilung entweder nicht leisten können oder die nicht spezifisch genug in einem bestimmten Bereich arbeiten. Diese Firmen entwickeln zwar Produkte, aber es kann vorkommen, dass bestimmte Faktoren/Teile dieses Produkts nicht im Unternehmen selbst entwickelt werden können, sondern dann eben von uns kommen. Meist ist es dann so, dass eines der Institute der Fraunhofer-Gesellschaft etwas in der Richtung hat und die Firmen auf uns zukommen und fragen, ob wir das nicht für sie zuschneiden oder weiterentwickeln könnten.
Der Auftrag der Fraunhofer-Gesellschaft lautet, mitzuhelfen die Volkswirtschaft Deutschlands voran zu bringen. Dennoch sind wir international tätig. Das liegt einfach in der Natur der Sache. Das HHI hat sechs Fachabteilungen. Ein großer Teil befasst sich mit Video und Wireless, ein anderer mit Photonik und faseroptischen Sensorsystemen. Im Komponentenbereich der Photonik etwa gibt es nur eine sehr überschaubare Anzahl an Abnehmern auf der ganzen Welt. In unseren Reinräumen werden Wafer hergestellt und wir haben hier am Ort auch eine Prototypenentwicklung. Um wirtschaftlich zu bleiben, können diese Produkte nur für den internationalen Markt hergestellt werden.
Wie exklusiv dürfen Entwicklungen der Fraunhofer-Gesellschaft sein, wenn es einer Wirtschaft als ganzes dienen soll und nicht nur einzelnen Unternehmen?
Wenn wir etwas exklusiv entwickeln, dann darf das nur für eine bestimmte Zeit geschützt sein. Meist sind es so um die zwei Jahre. Das betroffene Unternehmen steckt ja auch Geld rein, damit wir eine Lösung entwickeln. Patente im Vergleich laufen 20 Jahre, müssen aber erhalten werden und das kostet schon einiges. Und wenn man das Geld dafür nicht hat, können sie einem weg gekauft werden. Da steckt mittlerweile eine große Industrie hinter. Auch bei der Fraunhofer-Gesellschaft stellt sich immer wieder die Frage, welche Patente Geld bringen und deswegen gehalten werden sollten und welche man frei gibt. Die Lizenzierung ist das Non-Plus-Ultra, das jeder gerne hätte. Wie H.264, das plötzlich auf fünf Milliarden Endgeräten eingebaut wurde. Es gibt fast kein HD- oder BluRay-Gerät, das nicht diesen Standard nutzt. Selbst wenn man sich ein Video auf seinem Handy ansieht, ist das meist mit H.264 komprimiert. Und das HHI war mit der ITU und der Joint-Video-Group Teil der Gruppe, die den Standard erheblich mitentwickelt hat.
Wie ist denn hier die Zusammenarbeit bzw. die Konkurrenz mit Unternehmen aus den USA und mittlerweile ja wohl auch China?
China ist durchaus eine Größe geworden, weil sie keine Werkbank, sondern auch Entwickler mit eigenen Produkten sein wollen. Da guckt jeder hin und selbst Firmen aus dem Silicon Valley wurden schon mit chinesischen Entwicklungen überrascht. Großunternehmer wie Jack Ma sind hier zu Vorreitern geworden. Wir haben chinesische Partner in dem ein oder anderen Projekt. Reden wir über den Entertainment- und Kamerabereich sowie den Markt der immersiven Bildtechniken, also 3D und VR, haben wir viel mehr mit den USA zu tun, weil dort der große Markt ist. Dort kennen wir uns alle, sitzen in Gremien wie der SMPTE und der ITU zusammen und entwickeln mit- oder füreinander. Und wenn wir uns auf den Technikmessen NAB und IBC treffen, sind das immer Familientreffen.
Noch ein Wort zur Omnicam-360, die inzwischen in einer handlichen Version verfügbar ist.
Die jetzige Version ist mit zehn Nearfield-Micro-HD-Kameras in einem Spiegel-Rig für 360°-Aufnahmen ausgestattet, weshalb es keine Stitching-Artefakte gibt. Es gibt eine oben geschlossene Version und eine mit einer 4K-Kamera oben drauf, so dass die komplette Sphäre abgebildet werden kann. Und es gibt eine Cine-Version, das ist eine OmniCam-360 mit ARRI Alexa M ausgestattet. Das wichtigste vielleicht: das System ist live-fähig. Wir haben eine Art Kleinserie der OmniCam-360 und sie sind fast immer im Einsatz. Allerdings befinden sie sich noch nicht im Rental, weil die meisten Produzenten aus Budgetgründen eher mit den preisgünstigen Systemen wie GoPro-Rigs arbeiten. Wir dürfen auch nicht vergessen, dass wir bei 360° und VR von einem Nischenmarkt sprechen. Die OmniCam kommt übrigens immer dann zum Einsatz, wenn es um hohe Qualität geht wie etwa bei den Berliner Philharmonikern, dem Berliner Konzerthaus oder Fußballübertragungen, etwa dem WM-Endspiel 2014, dessen Aufzeichnung dann im FIFA-Museum für den Weltfußball in Zürich zu sehen ist (MB 8/2014, S. 74). Da braucht man eine hohe Auflösung, um es auf der großen Leinwand zeigen zu können. Aber große Multiprojektionen sind eine Nische in der Nische.
Thomas Steiger
MB 4/2018
