Wie die Ninja-Theorie "Hellblade" -Kino in Echtzeit macht

Ninja Theory bringt in das kommende Videospiel eine noch nie da gewesene Technologie ein Hellblade: Senuas Opfer: Die Möglichkeit, Szenen für das Spiel in Minuten statt Tagen zu drehen, zu rendern und zu bearbeiten.

Wie es bei der Ninja-Theorie üblich ist, Höllenklinge ist kein typischer Blockbuster - er folgt der Reise von Senua, einem keltischen Krieger gegen psychische Erkrankungen. Angesichts des Interesses des Studios, in Spielen wie Versklavt und DmC (selbst auf einer Skala ähnlich wie Triple-A) scheint die Verwendung von Technologie zur Förderung einer emotionalen Leistung wie ein natürlicher Fortschritt.

Die Technik selbst, die Ninja Theory nach einer kürzlich auf der VFX-Konferenz SIGGRAPH gezeigten Demo als "Echtzeit-Kinematographie" bezeichnet, erfasst im Wesentlichen die Leistung eines auf dem Weltbild stehenden Schauspielers wie in einem Filmset und überträgt dann das gerenderte Bild Daten in Sequencer, ein neues Adobe Premiere-ähnliches Tool für Unreal Engine 4.

Von hier aus können die soeben erfassten Leistungsdaten - aufgezeichnete Gesichtsanimationen, Stimme und Bewegung - auf eine beliebige Art und Weise manipuliert werden wie bei einem linearen Filmsegment. Nur die Entwickler können solche Einstellungen anpassen, optimieren oder bearbeiten Beleuchtung oder Kamerawinkel im laufenden Betrieb. (Da die Daten in Echtzeit sind, ist es sogar möglich, neue Kameras vollständig zu ändern oder einer Szene hinzuzufügen.)

Für Ninja Theorys Mitbegründer und Chefkreativdirektor Tameem Antoniades macht es den Unterschied, alles mit der Technik im eigenen Haus zu schießen.

„Wir können springen und Szenen drehen, wenn wir sie brauchen. Wir müssen nicht alles in einem vierwöchigen Shooting machen “, sagt Antoniades über die alte Methode des Studios. Zuvor musste ein Zeitblock in einem Mottion-Capture-Studio gebucht werden, um die Leistungen eines Spiels auf einmal festzuhalten. "Wir mussten alles für das Spiel dort schießen und dann das Spiel um das, was wir geschossen haben, aufbauen."

Die technischen Schrauben und Muttern sind nicht überraschend komplex und erfordern viele Hände. Abgesehen von der Zusammenarbeit mit Epic, das Unterstützung für Sequencer und Unreal bietet, kommt die eingesetzte Gesichts-Capture-Technologie von Cubic Motion, einem separaten Mo-Cap-Software-Unternehmen, während das in Serbien ansässige Gesichtsleistungsstudio 3Lateral zur Unterstützung bei der Erstellung des Produkts eingesetzt wurde realistische virtuelle Köpfe - und das sind nur ein paar externe Mitarbeiter von Ninja.

Die Gesichtserfassungs-Middleware von Cubic Motion und die erfassten Daten von 3Lateral - die Schauspielerin Melina Juergens musste nach Novi Sad reisen, um ihr Gesicht auf verschiedene Arten scannen zu lassen - werden als digitale Grundlage verwendet, um Echtzeitergebnisse genau zu erfassen. (Glücklicherweise ist Juergens der Herausgeber von Ninja Theory, daher ist ihre Verfügbarkeit für Szenenaufnahmen kein Problem.)

Aber Höllenklinge Es begann mit dem Wunsch, etwas auf einer Triple-A-Skala völlig unabhängig zu machen und so effizient und kostengünstig wie möglich zu gestalten. Bisher spricht ihre Arbeit für sich selbst und wird erstaunlicherweise von einem 16-köpfigen Team aufgebaut.

Antoniades sagt, dass seine vergleichsweise kompakte Produktion mit einem engen Fokus auf eine einzige Figur es überhaupt möglich macht.

„Wir haben einen Performance-Capture-Bereich geschaffen, der die Dinge tun kann, die wir vorher gemacht haben, aber wir haben ihn für wahrscheinlich 20.000 bis 30.000 Dollar gebaut. Was im Vergleich zu den Setups, mit denen wir gearbeitet haben, super, super günstig ist “, sagt er. "Auch wenn es sich so anfühlt, als wäre es extrem high-tech, extrem teuer, ist es nicht - dies ist nur eine effizientere Art zu schießen, ganz im Sinne von allem anderen."

Um zu verhindern, dass das Studio die Bank bricht, stellten einige Partner ihnen Ausrüstungsgegenstände zur Verfügung und stellten technisches Fachwissen zur Verfügung, während Antoniades und das Team sich bewusst bemühten, die Ausrüstungskosten so niedrig wie möglich zu halten. Die Verwendung von neun Kameras mit Monokappen auf einer Fläche von etwa drei mal drei Metern, viel kleiner als die zwanzig mal zwanzig Meter großen Studios eines großen Studios, war eine große Hilfe.

"Wir haben viele Kompromisse eingegangen", sagt Antoniades. „Unsere Ausrüstung zur Montage der von IKEA erworbenen Kameras. Sie sind Garderobenstangen. Die Beleuchtung, die wir brauchten - es handelt sich um Bürolichter, die wir bei Amazon gekauft haben. Wir haben einfach die billigste Lösung genommen, um einen Charakter erfassen zu können. “

Die Offenheit des Studios in Bezug auf Entwicklung ist der Grund, warum Kim Libreri, Chief Technology Officer von Epic, Antoniades fragte, ob Ninja Theory im März mit Senua 's Schauspielerin ein Live-Showcase an der GDC machen wollte. Als dies ein Erfolg war, arbeitete das Team mit seinen Partnern zusammen, um im Juni für eine SIGGRAPH-Präsentation im Juni eine komplette Zwischensequenz zu drehen und zu rendern, indem Sequencer verwendet wurde, um mo-capped Daten in die Unreal Engine zu übertragen.

Im Gegensatz zu der abgespeckten GDC-Demo zeigte die SIGGRAPH-Präsentation (die sie vor einem Publikum von 2.500 VFX-Fachleuten aufführten), Senua im Gespräch mit einem Doppelgänger, wobei Antoniades beide von Juergens erschossenen Partien während des Geschehens erschoss. Nach der Aufnahme des Doppelgängers erhielt Ninja Theory auf der Bühne Hilfe von Epic, Cubic Motion und 3Lateral, um sicherzustellen, dass die Daten ordnungsgemäß erfasst wurden und anschließend in die Videobearbeitungsschnittstelle von Sequencer gestellt wurden.

Schließlich wurden die Daten abgespielt, als Antoniades ein zweites Mal Juergens filmte und nun den echten Senua gegen ihren ersten Auftritt spielte - und gleichzeitig die Bewegung und den Fokus der Kamera selbst festhielt. Für ihre Leistung erhielt Ninja Theory den besten Echtzeitgrafik- und Interaktivitätspreis von SIGGRAPH.

Was den Tech so umwerfend macht, ist, dass nicht einmal die besten Studios des Filmemachens visuelle Bilder produzieren, die so nahe an der endgültigen Kunst dieser Art liegen. Stattdessen verwenden sie einen Prozess, der als Vorvisualisierung bezeichnet wird. Dieser Vorgang ähnelt einem in Echtzeit animierten Umriss. Er verwendet grundlegende gerenderte Geometrie, um die Blockierung und Aktion einer Szene zu messen. Um vom groben Vorbild zum endgültigen Bild zu gelangen, dauert es in der Regel einige Monate, und es mangelt an Details, vor allem wenn es keine Gesichtserfassung gibt.

"Wenn Sie einen Charakter live sehen könnten, stellen Sie sich vor, was Sie damit alles anstellen könnten", sagt Antoniades. "Mit SIGGRAPH wir dachten:" Wir haben hier die Chance, tatsächlich etwas zu tun, was man gar nicht an Filmsets tun kann. Filmstudios mit Millionen von Dollar haben diese Technologie nicht."

Dies ist auch ein Vorteil für die Gesamtgeschwindigkeit der Entwicklung.

„Da wir hier unsere eigenen Einstellungen haben, können wir springen und Szenen drehen, wenn wir sie brauchen“, sagt er. „Wir machen es organischer - genauso wie beim Bau von Levels, können wir die Szenen für diese Levels aufnehmen und die Szenen für diese Level drehen, oder, wenn wir zusätzliche Szenen benötigen, springen Sie hinein und drehen sie. Es ist immer noch im Einklang mit der Erzählung und der Geschichte, es hat die Szene ein bisschen cooler gemacht, so dass wir mit den verschiedenen Senua-Versionen, die wir sonst nicht hätten, Tricks ziehen können."

Antoniades sagt, dass die Echtzeitnatur der Technologie wahrscheinlich weder die Geschichte noch das Spiel spürbar beeinflusst (abgesehen von mehr experimentellen Zwischensequenzen), er ist jedoch optimistisch, dass er auf neue Arten von Erlebnissen und Unterhaltung angewendet werden kann in naher Zukunft, insbesondere in der virtuellen Realität.

"Stellen Sie sich vor, die Figuren drehen sich und sehen Sie an oder gehen mit Ihnen oder interagieren mit Ihnen", sagt er. "Ich denke, dass dies zu einer anderen Art von Unterhaltung führen wird, für die wir keinen Namen haben, wir haben nicht einmal die Grammatik, die wir bei Film- und Videospielen haben."

Was früher passieren könnte, ist so etwas wie ein Twitch-Chat, bei dem sich die Menschen in Echtzeit mit Senua unterhalten können - etwas, was Fans in den kommenden Monaten möglicherweise sehen werden. VR, Konzerte und andere Nicht-Gaming-Anwendungen sind ebenfalls möglich.

"In der Lage sein, Drehorte aufzubauen, Schauspieler zu filmen und live zu filmen. Da alles in Echtzeit ist, können Sie es vor Ort interaktiv gestalten und verschiedene Szenarien ausprobieren", sagt Antoniades. "Es gibt in naher Zukunft Möglichkeiten, die selbst im letzten Jahr nicht möglich wären."

Mit Höllenklinge Da Ninja Theory gerade eines von mehreren Projekten innerhalb und außerhalb des Spiels ist, an denen Ninja Theory gerade arbeitet, ist es hoffentlich ein guter Ausgangspunkt, um zu sehen, wie sich die Dinge von hier aus entwickeln können.

"Ich denke, es wird gut für Gamer sein, weil sie interessantere Projekte erhalten werden", sagt er. „Und es ist auch gut für Entwickler. Ich denke, dass sich die Branche zum Besseren verändert, solange wir es alle schaffen, dort zu bleiben und ein wenig länger zu überleben."