Spiel- und Filmkomponist Sage Lewis sagt, dass niemand das Schreiben für VR noch versteht

Für den klassisch ausgebildeten Musiker Sage Lewis ist Technologie eine Herausforderung. Obwohl seine Kompositionen in Anzeigen für Google, Facebook und Nintendo erscheinen, bleibt Lewis mit akustischen Klängen unerschütterlich. "Es gibt etwas über das Streichquartett und die wichtigsten akustischen Instrumente, die so viel Emotionen ausdrücken", sagt er am Telefon. "Mit elektronischer Musik kann man das nicht wirklich so ausdrücken."

Aber vielleicht hat er es herausgefunden. Bei South by Southwest die letzten Ergebnisse von Lewis - das Techno-Drama Operator mit Martin Starr (Silicon Valley) und Mae Whitman und der VR-Thriller Die Leihmutter - unser bahnbrechendes Verständnis von menschlicher Interaktivität mit bahnbrechender Technologie anzugehen. Lewis 'Scores, eine Mischung aus Elektronik und Akustik spiegeln diese seismischen Verschiebungen wider.

Regie: Logan Kibens, Operator Es folgt ein Computerprogrammierer, der einen Kundendienst-Bot mit seiner Frau als Vorlage erstellt, bevor er einen zwanghaften, destruktiven, auf Liebe basierenden Weg beschreitet. Die Leihmutter Inzwischen ist eine VR-Erfahrung aus der Ich-Perspektive, die eine problematische Ehe aufdeckt. Nominiert für den Interactive Innovation Award des Festivals Die Leihmutter „Problematisiert die Vorstellung von physischer Präsenz und reflektiert… kulturelle Ängste und Beschwerden im digitalen Zeitalter.“

Vor dem Austin-Festival sprach Lewis mit Inverse und erzählte uns, wie er einen der versteckten Juwelen von SXSW komponierte und wie die Regeln für das Komponieren von VR noch geschrieben werden.

Bei SXSW in diesem Jahr haben Sie Operator und Die Leihmutter. Was können Sie mir über Ihr Verständnis der beiden Projekte erzählen?

Es ist aufregend, es sind zwei Filme, die sich in ihren Geschichten ähneln, sich aber in ihrer Form und ihrem Erleben sehr unterscheiden. Beides hat mit Technologie zu tun, einer Beziehung zu und wie sie mit realen Beziehungen in unserem persönlichen Leben interferiert. Es geht um künstliche Intelligenz und wohin wir in Zukunft gehen werden.

Technologie und zwischenmenschliche Beziehungen sind beliebte Themen, wie zum Beispiel Ihr und Schwarzer Spiegel. Wie haben Sie Ihre Punktzahl erreicht? Operator ?

Die Technologie vermittelt unsere Kommunikation immer mehr, aber wo wir hingehen könnten, sind unsere Beziehungen nicht nur mit einem anderen Menschen, sondern mit einem Algorithmus. Es hat Spaß gemacht, diese Themen musikalisch zu bearbeiten, die Partitur besteht aus einem Kammerensemble mit Streichquartett, Klavier, Akustikgitarre, Schlagzeug und Schlagzeug. Dann gibt es eine ganze elektronische Seite, jedes elektronische Instrument ordnet sich direkt dem anderen der Akustik zu. Wir haben sie mit einem modularen Synthesizer von Grund auf neu erstellt. Dadurch entstand eine Bewertung, die diese Emotionen elektronisch ausdrücken konnte.

Wenn Sie wissen, wie wichtig diese Filme in Bezug auf Technologie sind, warum haben Sie natürliche und klassische Klänge mit einbezogen? Operator ?

Für mich ging es um zwei koexistierende Welten, eine virtuelle und eine natürliche, und wie sie in Harmonie und Konflikten nebeneinander existieren und um denselben Raum kämpfen. Es war wichtig, Stücke zu haben. Wenn Sie im Gegensatz dazu zwei Dinge haben, macht dies jedes stärker. Elektronische Musik klingt elektronischer, wenn sie im Zusammenhang mit akustischer Musik steht. Die Qualität von etwas natürlichem kann natürlich noch natürlicher klingen, wenn Sie es gegen etwas sehr unnatürliches stellen.

Was war dein Lieblingsteil von Operator punkten

Es gibt einige wunderschöne Szenen des Michigansees, wo Joe jeden Tag rennt. Er misst seine Gesundheitsdaten, geht zum Michigansee und macht ein Foto. Es gibt eine Szene, in der sie waren wie: „Dies ist eines der wichtigsten Stücke des Films. Das ist alles, Sage. “Die Musik musste auch einfach sein, sie sagte nicht mit vielen Gesten. Es waren nur ein paar Minuten ein paar Gesten, die einfach zu platzieren waren und Sie wirklich im Herzen treffen konnten. Das war für mich das aufregendste.

Wie komponieren Sie eine subjektive Erfahrung in VR im Vergleich zu einem Film? Operator ?

Es ist spannend, weil niemand versteht, wie es geht. Es gibt keinen Ort, an dem Sie es studieren können, nicht einmal andere VR-Projekte, um zu sehen, was sie getan haben, weil es immer noch nicht so zugänglich ist. Es gibt eine Menge von sich selbst Wir haben unsere eigenen Oculus-Headsets, mit denen wir dies entwickelt haben. Manchmal gehen wir zu VR-Konferenzen, um andere Inhalte zu sehen, aber zum größten Teil handelt es sich um ein Produkt, das den Markt noch nicht erreicht hat.

Wie wäre es mit Videospielen, an denen Sie gearbeitet haben - und auch subjektive technologische Erfahrungen machen?

In gewisser Weise ist es wie bei Videospielen, aber die Erfahrung ist anders. Die Leihmutter ist kein Spiel, sondern ein „interaktiver Film“, der wirklich gute Arbeit geleistet hat, um neue Bereiche der VR zu erschließen. Es ist 12 Minuten lang, es ist kugelförmig und bedeutet, anstatt eines 16x9-Einzelbilds, das Sie im Film sehen, überall, wo Sie hinschauen, hinter sich, hoch, runter, Sie können herumlaufen. Es ist diese Hybride aus CG-Aufnahmen mit einer sphärischen Kamera, mit echten Charakteren. Keine Avatare.

Während Sie herumgehen, wird ein Teil der Musik die ganze Zeit verwendet, um die Erzählung zu unterstützen. Es gibt diesen anderen Typ in Leerzeichen. Wenn Sie in diesen Bereich gehen, werden Sie es hören, aber wenn Sie nicht sind, tun Sie es nicht. Sie müssen viel kommunizieren, wenn Sie sich in einem Film befinden, damit die Story funktioniert, damit die Leute wichtige Teile nicht vermissen, aber in VR haben Sie keine Kontrolle über den Benutzer. Der Benutzer kann überall wandern.

Die Bewertung in VR unterstützt die Kommunikation des emotionalen Bogens, unabhängig davon, ob sie bei der Aufführung aufmerksam sind oder nicht. Sie müssen die Partitur verwenden, um Dinge zusammenzubringen, weil Sie keine Kontrolle haben. Dies ist für mich interessant, weil es innerlich in dem Charakter, in dem Sie sich befinden, ein psychologischer Thriller für diesen Charakter in ihrem Geist und Körper ist, in der Außenwelt jedoch nicht. Es sind Leute, die sich bewegen und reden, kein gewöhnlicher Thriller mit Action.

Kamerawinkel in Filmen vermitteln Erzählung und Thema, was die Musik verstärkt. In VR scheint die Musik die ganze Arbeit zu tun.

Es ist auch schwer herauszufinden, weil ich es beim Komponieren nicht erleben kann. Ich kann es nicht demonstrieren, weil Sie nicht bei eingeschaltetem Headset verfassen können. In einem Film können Sie ihn anschauen, die Musik einfügen und wieder ansehen, und ein paar Leute setzen sich zusammen und reden darüber.

VR ähnelt tatsächlich dem Theater. Einige Leute haben gute Plätze, andere Leute haben schlechte Plätze. Sie betrachten alle Blickwinkel. Aus musikalischer Sicht wissen Sie, wie die Dinge synchronisiert werden. Sie müssen nicht erraten, wie sie sich auf der Bühne fühlen werden, wenn Sie daran arbeiten. In VR raten Sie sich, stellen Sie sich vor, Sie denken an Materialien, auf die Sie sich beziehen und die Sie darüber informieren, wie Dinge am Ende aussehen und sich anfühlen sollen.

Es ist nie fertig Es ändert sich ständig. Die Leihmutter Wir haben gerade das letzte Update fertiggestellt. Dann arbeiten wir noch lange daran, je nachdem, was wir lernen. Die Dinge sind langsamer, weil Sie auf Programmierer angewiesen sind. Es ist so anders

Wie lange wird es wohl dauern, bis Komponisten den Rhythmus für Musik in VR finden?

Um herauszufinden, wie man Musik für VR schreibt, dauert es so lange wie die anderen Elemente herauszufinden. Ich denke drei bis fünf Jahre, bis es an einen Punkt gelangt, an dem es funktioniert und ein Teil des Lebens eines jeden ist. In diesem Jahr wird VR auf den Markt kommen. Es wird wahrscheinlich Jahre dauern, um den Prototyp zu verbessern und herauszufinden, wie Inhalte erstellt werden können. Ich sehe jedoch, dass es um 2020 herum geschieht, wenn es sich um ein gut entwickeltes Formular handelt. Der Film hat auch lange gedauert. Es gab von Anfang an großartige Filme, Charlie Chaplin und solche Sachen, aber die Entwicklung dieser Technologie dauerte lange bis zu ihrem goldenen Zeitalter. Wir sind noch weit davon entfernt, aber jetzt passiert es. Wir werden es in diesem Jahr wieder sehen. Es ist aufregend.