Mebucom / News / Produktion / Der Ton kann alles verändern
Der Ton kann alles verändern

News: Produktion

Der Ton kann alles verändern

John Gaeta ist Mitgründer und Executive Creative Director von ILMxLAB, der Immersive Enter-tainment Sparte bei Lucasfilm. Er ist Schöpfer der Oscar-prämierten Visual Effects der MATRIX-Trilogie. Heute arbeitet er mit der Lucasfilm Star Wars Story Group und Disneys Forschungs- und Planungsgruppen zusammen. Unter seiner Leitung wird dabei eine Virtual-Reality-Serie um Darth Vader entwickelt.

Bei der Media Convention 2017 sprach Gaeta über immersives Erleben. Dazu gehört nicht nur Virtual Reality, sondern auch Mixed und Augmented Reality, wie sie etwa mit Hilfe der Mircrosoft Hololens erlebbar wird. Immersive Geschichten, so Gaeta, werden die Art verändern, wie wir die Welt wahrnehmen. Es wird möglich sein – wie in der MATRIX-Trilogie vorgemacht – in eine komplett neue Welt einzutauchen. Oder man reichert die echte Welt mit Hilfe einer auf verschiedene Intensitätsstufen einstellbaren AR/MR-Brille mit zusätzlichen Elementen an. Allerdings warnt Gaeta auch vor dem Suchtpotential, das diese Fluchtmöglichkeiten bieten sowie vor möglichen medizinischen Implikationen. MEDIEN BULLETIN sprach mit John Gaeta am Rande der Media Convention.

 

So wie Sie auf der Media Convention gefeiert wurden, erhält man den Eindruck, Sie seien der Virtual Reality-Papst. Ist das so? 

Irgendwie hört sich das in meinen Ohren komisch an. Bin ich nun der gute oder der böse Papst? Als MATRIX 1999 raus kam, war dies der Anstoß, Virtual Reality breit zu diskutieren. Man hatte sich damals sehr intensiv und auf einem sehr intellektuellen Niveau mit dem Thema auseinandergesetzt. Das gab mir die Gelegenheit mit vielen Leuten aus den verschiedensten Bereichen in Kontakt zu kommen und über Virtual Reality zu sprechen. Darunter waren Techniker und Künstler, aber auch viele Menschen, die ihre eigenen Vorstellungen über eine Virtual Reality-Plattform hatten. Wie etwa Ken Kutaragi, der Erfinder der Playstation, der mit erzählte, dass er einen Traum habe, der genau das sei, was wir in MATRIX geschaffen hatten. Er hatte schon damals über Cloud Computing nachgedacht. Er wollte hunderte von Playstations zu einem Netzwerk zusammen schalten, in dem die Computer Anfragen parallel verarbeiten. Mittlerweile gibt es genügend Menschen, die die Diskussion darüber wie Virtual Reality aussehen soll, fortführen. Alles was man da selber tun muss, ist älter zu werden und plötzlich werden die Bausteine, die einst nur Science Fiction waren, Realität. Jetzt arbeiten viele Menschen an dieser neuen Realität, deren Grundlagen man selber mit geschaffen hat. Wenn der Papst also jemand ist, der den Glauben an etwas stärkt und fördert – ja, dann bin ich wohl wie der Papst.

 

VR-Technologie gibt es erst seit kurzer Zeit. Beginnend mit Google Cardboard und dann leistungsfähigeren Brillen … 

Lassen Sie mich kurz unterbrechen. Ich glaube, es war genau umgekehrt. Das Militär und Universitäten nutzten bereits Brillen, die an Rechner angeschlossen waren, für Trainings-, Forschungs- und Simulationszwecke. Davon haben die jetzt im VR-Bereich tätigen Firmen profitiert. Aber erst als das Smartphone auf den Markt kam, realisierte man, dass man damit kosteneffizient VR zum Konsumenten bringen und einen breiten Markt aufbauen kann. Palmer Luckey, der Gründer von Occulus machte im Grunde nicht mehr, als ein Smartphone in eine Brille zu stecken. Andererseits war dies der Beginn der aktuellen VR-Welle (MB 1/2016, S. 42). Man kann schon sagen, dass es die Mobiltechnologie ist, die den Markt treibt da jeder Besitzer eines Smartphones ein potentieller Nutzer ist.

 

Auch wenn Smartphones den Markt geschaffen haben, so wird doch im Interesse von besseren, realistischeren und aufwändigeren Angeboten VR letztendlich auf rechnergestützte Abspielmöglichkeiten zurück greifen müssen?

Das ist richtig. Das wird sich verändern. Gerade im Broadcastbereich glaube ich fest daran, dass Streaming zu den zukünftigen Angeboten gehören wird. Perspektivisch allerdings auch via WLAN auf mobilen Endgeräten.

 

Dafür muss zuerst allerdings das Problem der Bandbreite aber auch der Auflösung der Displays sowie der Bildwiederholung gelöst werden. Welche Auflösung würden Sie empfehlen?

Eine Zahl kann ich da nicht nennen, aber es ist klar, dass ich keine Gittermuster oder ähnliches mehr sehen möchte. Allerdings könnte es gut sein, dass es keine gute Idee ist auf einen kleinen erleuchteten Bildschirm zu schauen. Ich habe da echte Bedenken. Es sieht ganz so aus, als ob sich die Sehkraft verschlechtert, wenn man auf ein Display starrt – insbesondere, wenn man älter ist. Zudem widerspricht es dem natürlichen Sehen. Die Augen sehen etwas, was nur Zentimeter entfernt ist, das Gehirn glaubt aber, es fokussiere auf etwas, was ziemlich weit entfernt ist – das ist unnatürlich. Ich frage mich daher, ob VR-Brillen nicht eine schlechte Idee sind. Es gibt andere, experimentelle Systeme, die das Bild direkt auf die Netzhaut projizieren. Dabei wird die Art und Weise simuliert wie das Licht ins Auge fällt und die Netzhaut anspricht. Ich glaube, das wäre ein sehr viel natürlicherer Weg, mit dem man sehr viel mehr erreichen kann. Bleibt nur die Frage, ob weniger gesundheitsschädliche Lösungen kosteneffizient sind. Es kann gut sein, dass VR einer Gesundheitsregulierung unterworfen wird. Zumindest aber werden es die entsprechenden Verbände – wie Augenärzte und Optiker – im Blick behalten.

 

Virtual Reality bedeutet zwar in einer 360-Grad-Blase zu sein – es gibt also wie in der Realität in jede Richtung etwas zu sehen. Doch auch unsere Realität spielt sich im Grunde nur in dem Radius ab, den unsere Augen abdecken, also circa 220 Grad. Reicht es aus VR-Geschichten in diesem Bereich zu erzählen?

Der Radius hängt immer davon ab, wie die Erfahrung sein soll. Allerdings kann man seinen Kopf ziemlich bequem zur Seite drehen, so dass der Radius bis 270, 300 Grad erreichen kann. Wenn man auf seiner Couch sitzt reicht das völlig aus. Allerdings gibt es ja zwei Arten von VR. Einmal die, bei der man an einem Ort bleibt und die, in der man sich in dem künstlichen Raum bewegt. Das entwickelt sich zur Zeit rasant. Die Technologie basiert auf den Game Engines, die in Echtzeit die Umgebungen in Spielen rendern je nachdem welche Handlung ausgeführt wird und wohin man sich wendet. Dafür wird man allerdings entsprechende Rechenleistungen brauchen. An einem fest definierten Punkt sein zu müssen, empfinde ich als einengend und repressiv. Davon müssen wir weg kommen.Ziel ist also, eine VR-Umgebung und Erfahrung herzustellen, die dem Erleben auf dem Holodeck der Enterprise entspricht?Exakt! Das ist die Zukunft und genau daran arbeiten Einige.

 

Welche Rolle spielt dabei der Ton?

Ton kann alles verändern. Selbst wenn man in einer Virtual Reality-Umgebung ist, die aus einfacher Animation besteht wie etwa die Serie SOUTHPARK, sorgt der Ton dafür, dass diese Welt überzeugend ist und man sich als Teil der Geschichte fühlt. Das Gehirn ‚verzeiht‘ in dem Augenblick die visuelle Reduziertheit und akzeptiert die Anwesenheit einer Person, weil der Ton einen vereinnahmt und zu der ‚Person‘ zieht. In immersiven Erlebniswelten ist Ton deutlich mehr als die Hälfte der Erfahrung, da er darüber bestimmt, ob es sich richtig anfühlt. Das hängt allerdings davon ab wie überzeugend der räumliche Ton angelegt ist und ob er funktioniert. Insbesondere, wenn man sich auch noch im Raum bewegt, da sich Ton ja entsprechend dem Standort der hörenden Person verändert.

 

Wie geht man mit Spannung, mit Horrormomenten in VR um? Das kann unter Umständen zu unerwünschten körperlichen Reaktionen bis hin zum Herzanfall führen.

Da müssen wir wirklich aufpassen. Wir kennen einfach noch nicht die möglichen Auswirkungen auf die Gruppe von Menschen, die dafür besonders empfänglich sind. Ich glaube, dass es physiologisch möglich ist einen Menschen so zu erschrecken, dass man ihn damit ernsthaft schädigt. Manche wollen diese Schockmomente und sie werden es lieben, aber sie werden damit auch umgehen können. Doch jemanden ohne sein Wissen einer solchen Gefahr auszusetzen, wäre ziemlich verantwortungslos insbesondere in dieser frühen Entwicklungsphase. Denn je überzeugender und glaubwürdiger die Darstellung ist, desto gefährlicher kann sie sein. Und es wird immer glaubwürdiger. Selbst wenn es nicht um Schockmomente geht, verschwinden hier möglicherweise die Grenzen zur echten Welt in einer negativen Art und Weise. Das ist kaum wünschenswert. 

 

Wo sehen Sie die größten Chancen für VR?

Ich würde darauf tippen, dass die interessantesten Applikationen für VR aber auch Mixed Reality nicht Fiktion ist sondern Kommunikation mit anderen Menschen. Da greifen die gleichen Mechanismen wie bei Social Media nämlich die Möglichkeit sich selber darzustellen und Teil zu werden im Universum eines anderen Menschen oder in einem gemeinsamen virtuellen Raum. Das ist etwas, was jeder möchte – selbst dann, wenn das nur in einem sehr reduzierten Umfang genutzt wird, wie einem holografischen Skype-Gespräch.

 

Bei Live-Events dürfte das nur zu bewerkstelligen sein, wenn man die Freunde in der virtuellen Welt trifft.

Genau. Das gelingt mit der Räumlichkeit der VR-Welten, in denen man sich ungehindert bewegen kann. Es gibt diverse Technologien für sphärische 360°-Aufnahmen und verschiedensten Surroundton. Für Live-Streaming käme eine Kiste in Frage, in die man den Kopf steckt und auf deren Wände projiziert wird. Für Live-Streaming wäre das sehr komfortabel und weniger anstrengend für die Augen.

Thomas Steiger

MB 3/2017

Zurück