Face the Music: Wie der "Eye Conductor" Paralytics dabei hilft, den Fick rauszuholen

Andreas Refsgaard, ein in Amsterdam lebender Interaktionsdesigner und kreativer Programmierer, hat eine musikalische Schnittstelle entworfen, die es Menschen mit körperlichen Behinderungen ermöglicht, Musik zu machen. The Eye Conductor verwendet Eye-Tracking-Software und eine Webcam des Computers, um Gesichtsbewegungen in verschiedene Komponenten einer musikalischen Komposition zu übersetzen. Benutzer können lernen, das Ding mit ihrem Gesicht zu spielen, was bedeutet, dass gelähmte Menschen - Menschen, die kein Instrument mehr spielen können - eine zweite Chance haben, schöne (oder nur laute) Geräusche zu machen. Der rechte Blick trifft buchstäblich mit der Erfindung von Refsgaard. Der richtige Ausdruck drückt sich laut aus.

Refsgaard sprach mit Inverse über die Motivation hinter seinem Projekt, die Kämpfe, denen er auf dem Weg begegnete, und was er gelernt hat, was er Leuten gegeben hat, die die Fähigkeit verloren haben, eine weitere Chance zu haben, Musik zu machen.

Was ist dein Hintergrund mit Musik?

Ich würde mich selbst nicht Musiker nennen, weil ich nur zum Spaß spiele, aber ich spiele Gitarre und Bass. Ableton ist ein Musikprogramm, eine digitale Workstation, die mit Aufnahmesoftware wie Logic, Protools oder Garage Band vergleichbar ist. Ich habe an einem Kurs teilgenommen und es war nicht so toll, damit zu musizieren, aber ich war fasziniert von den Möglichkeiten, die ich sah. Dann begannen wir zusammenzuarbeiten und ein paar künstlerische Installationsarbeiten durchzuführen, bei denen er die Sounds entwerfen und Sensoren anschließen konnte, beispielsweise eine Tiefenkamera. Wenn also Leute vorbeigingen, kontrollierten sie einen Aspekt des Projekts.

Sie sind also Interaktionsdesigner und kreativer Kodierer. Könnten Sie erklären, was diese Titel bedeuten?

Alle Dinge, die ich entwerfe, sind interaktiv. Wenn ich also eine Art Möbel herstellen würde, hätte es eine Funktionalität, die dazu führen würde, dass es auf etwas reagierte. Ich bin auch ein kreativer Kodierer. Im Vergleich zu vielen anderen Menschen - zum Beispiel habe ich in Kopenhagen am Kopenhagener Institut für Interaktionsdesign studiert, wo Menschen aus vielen verschiedenen Hintergründen sind - bin ich etwas mehr auf der Codierungsseite. Ich bezeichne mich auch als "kreativer Kodierer", weil ich kein richtiger Kodierer bin. Ich bin nicht so gut darin, aber ich kann sehr schnell einiges erledigen, ich kann Dinge verbinden und bin gut darin, neue Ideen zu entwickeln.

Was hat Sie dazu inspiriert, Menschen mit körperlichen Behinderungen beim Musizieren zu helfen?

Nach der Highschool für zwei oder drei Monate war ich Hausmeister für Muskeldystrophie. Die ganze Zeit bei ihm zu sein, ließ mich einige der Dinge erkennen, bei denen ich ihm nicht helfen konnte. Einer von ihnen drückte sich kreativ aus. Ich dachte nicht: "Okay, das ist ein Problem, das ich lösen muss", denn ich war damals jung und hatte keine beruflichen Fähigkeiten. Aber es blieb bei mir.

Wie sieht es mit der technischen Inspiration aus?

Ein Projekt namens Eyewriter, das ich vor etwa einem Jahr gesehen habe, ist ein Malprogramm, das für einen Mann entworfen wurde, der früher Graffiti-Künstler war, dann aber gelähmt war. Einige seiner Freunde waren Programmierer und bauten ein Werkzeug für ihn, mit Eyetracking, das ihn zeichnen konnte. Und da ich mit Sensoren und Musiksoftware herumgespielt hatte, stellte ich eine Verbindung her. Ich habe es als mein letztes Projekt in der Schule gemacht.

Wie wurde Musik zum kreativen Bereich, den Sie erforschen wollten?

Ich denke, vielleicht, weil ich selbst viel Musik mag und die Zeit, die ich für das Projekt hatte. Es wurde gerade klar, dass ich mit Musik arbeiten wollte. Dann hat mich Eyewriter in Sachen Grafik sehr inspiriert.

Musik scheint eine gute Wahl zu sein, weil sie universell ist. Ich kann an niemanden denken, der keine Musik mag.

Am Anfang wollte ich eigentlich testen, wie wichtig Musik für die Gruppe war, für die ich entworfen habe. Die ersten Schritte waren nur zu beobachten, wie Menschen mit unterschiedlichen körperlichen Behinderungen mit Musik interagieren. Ein Haus, das ich besuchte, hatte donnerstags Musik. Einige können etwas zeigen oder auf der Tastatur etwas spielen, und andere können überhaupt nichts tun, aber sie sind tatsächlich für donnerstags Musik.

Wie lange hat es gedauert, bis das Gerät beobachtet und dann hergestellt wurde?

In einem Designprozess wären das oft zwei verschiedene Dinge, aber mir gefällt dieser Ansatz nicht. Ich baue gerne von Anfang an und dann, wenn ich Gespräche darüber geführt habe, was ich gebaut habe. Und dann modifiziere oder verfeinere ich es.

Wie war es, die Leute zum ersten Mal zu sehen?

Es war ganz nett, ja. Da einige Leute nicht sprechen konnten, kann die Verbindung schwierig sein. Aber dann, als sie meinen Augenleiter benutzten, haben wir uns wirklich miteinander verbunden. Sie sahen mich an und lächelten oder waren wirklich glücklich, oder als ich sie nur demonstrierte, waren sie wirklich konzentriert. Es war ein wunderschönes Beispiel dafür, wie Musik Menschen helfen kann, miteinander zu interagieren und Gefühle auszudrücken.

Was war das größte Problem, dem Sie beim Design des Eye Conductor begegnet sind, ohne zu technisch zu werden?

Damit das System funktioniert, müssen Sie in derselben Position sitzen, in der wir gerade vor unseren Laptops sitzen, denn das Bild, das Sie gerade von mir sehen, ist gerade und eignet sich gut, um mein Gesicht und meine Augen zu verfolgen. Wenn Sie jedoch mit jemandem im Rollstuhl sitzen, der beispielsweise keine Kontrolle über die Haltung oder den Rücken oder Nacken hat, sitzen diese manchmal mehr seitlich und das System kann die Gesichtsbewegungen nicht verfolgen. Und dann wäre es manchmal etwas unangenehm für mich, zu sagen: „Okay, damit das funktioniert, musst du dich gerade hinstellen.“ Und dann, wenn sie nicht verbal sind, wie kommunizieren wir das?

Wenn jemandes Kopf so geneigt wäre, könnten Sie den Laptop theoretisch so halten, dass er seine Gesichtsgesten aufnimmt?

Ja. Ich habe dieses Problem nicht wirklich gelöst, aber viele Leute haben Computer an ihren Rollstühlen montiert und der Computer steht auf einer Stange und dann an dieser Stange gibt es eine Montagevorrichtung, die sie in die richtige Richtung neigen Gesicht der Person Es gibt keine Position, die richtig oder falsch ist, es geht nur darum, die Sensoren - die Webcam und einen Eyetracker - für den Kopf zu bekommen. Das war ein bisschen herausfordernd. Es war eher eine Hardware-Sache, denn sonst müsste ich versuchen, eine Struktur aufzubauen, und das wäre unordentlich. Ich bin nicht so gut darin.

Haben Sie das Ganze alleine gemacht oder sind Sie auf technische Probleme gestoßen, die nur andere Leute zu lösen wussten?

Ich habe es alleine gemacht, aber beim Sounddesign bekam ich Hilfe von diesem Professor, von dem ich Ihnen erzählt habe. Im Grunde nur Sounddesign. Ich hatte auch einen Berater, der mir Hinweise in Bezug auf eine Programmiersprache namens Max gab, in der er wirklich großartig war. Er hat mir nur geholfen, mich mit bestimmten Programmierdetails wohler zu fühlen. Natürlich war vieles neu, aber die Grundlagen davon kannte ich bereits aus früheren Erfahrungen. Ich habe in acht Wochen den Eye Conductor gemacht und die Leute sagten: „Oh, das ist verrückt, wie kannst du das in acht Wochen schaffen?“ Aber ich habe etwas anderes gemacht, das auch in Bezug auf die Arbeit mit Sensoren und Musiksoftware fortgeschritten ist und das viel länger dauerte Ich wusste nicht, wie ich das machen soll. Nun, da ich weiß, ist es nicht so schwierig, obwohl dieses Projekt komplizierter war. Es ist auch wichtig für mich, darauf hinzuweisen, dass es sich um einen voll funktionsfähigen Prototyp handelt, aber es ist kein Produkt. So können die Leute es nicht kaufen und auf meinem Computer installieren.

Ich wollte Sie fragen, ob Sie Pläne haben, es zu verkaufen?

Ich möchte es eigentlich nicht verkaufen, ich möchte es weggeben. Ich möchte es zu einer Open Source-Sache machen, aber ich kann jetzt nichts versprechen. Ich habe noch keine Finanzierung dafür und ich habe Arbeit und andere Dinge zu erledigen. Ich bekam zum Beispiel eine Nachricht von einem Mann aus Michigan, der früher Produzent war, und dann bekam er ALS. Ich muss es allen diesen Leuten irgendwie zur Verfügung stellen. Es ist sehr wichtig für mich, irgendwann, und ich kann nicht versprechen, wann, aber hoffentlich bald, so zu packen, dass die Leute entweder alles als eine Sache herunterladen können und es auf den meisten Computern laufen würde oder es tatsächlich ausprobieren würde im Browser. Die Idee dahinter, es zu einer Browsersache zu machen, würde nur einen Computer mit Online-Zugriff erfordern und dann einen Ersatz für eine Maus haben, die sie auf ihrem Computer haben könnten. Wenn ich Open Source mache, kann ich die grundlegende Demo bereitstellen und dann können die Leute ihre eigenen Wendungen hinzufügen, um sie zu ihren eigenen zu machen.

Es ist schön zu hören, dass Sie dies tun, weil Sie Menschen helfen möchten und nicht, weil Sie reich werden wollen oder so etwas.

Die Tools, mit denen ich es gebaut habe - zumindest der funktionierende Prototyp - sind Open Source. Warum sollte ich dann die Gutschrift bekommen? Zum Beispiel das Face-Tracking-System, das ich für meinen Prototyp verwende. Es ermöglicht den Menschen, durch Anheben der Augenbrauen oder Öffnen des Mundes einen Sound zu erzeugen. Dies ist eine Sache namens FaceOSC, die von einem Mann namens Kyle McDonald gemacht wurde, und das ist ein Open-Source-System. Ich glaube nicht, dass ich ohne diese Software so weit gekommen wäre.