Blog

May 27, 2020

Apparatus of Euphonious Thinking I

Dieser Blog-Post ist Teil einer dreiteiligen Geschichte, die euch Einblick in INDEEDs Entwicklungsprozess gewährt. Kommt mit auf unseren Weg zur jüngsten AI-Installation.

Der Beginn einer langen Reise

Die Arbeit als Creative Technologist in einer Designfirma erfordert unerbittliche Neugier und die Bereitschaft jederzeit eine Herausforderung anzunehmen. Der Weg zum „Apparatus of Euphonious Thinking“ begann mit der plötzlichen Einladung von Karel: „Minjoo, um die innovative Kultur von INDEED erlebbar zu machen, möchte ich, dass du über eine interaktive Installation nachdenkst, die modernste Technologie mit etwas Mechanischem verbindet“.

Wenn ich solche (manchmal abstrakt erscheinenden) Aufträge annehme, habe ich die folgenden drei Kriterien im Hinterkopf:

1) Lernerfahrung

Anstatt nur vorhandene Fähigkeiten zu kombinieren, sollten wir die Gelegenheit nutzen, die neueste Technologie zu erlernen, die für zukünftige Projekte benötigt werden.

2) Repräsentation von INDEED

Die Installation sollte die Kernfähigkeit von INDEED beinhalten - einen starken, von Kreativität durchdrungenen Hintergrund im Bereich Produktdesign und Technik haben.

3) Emotionale Berührungspunkte

Bei INDEED möchten wir nicht nur Neues schaffen, sondern die Menschen auch auf emotionale Art berühren. Verwurzelt in unserem humanistischen Denken streben wir danach, Technik, Menschen und Erfahrungen miteinander zu verbinden.

Wir waren seit jeher daran interessiert, verschiedene Anwendungen der Künstlichen Intelligenz zu erforschen und haben bereits 2017 unsere explorative Studie mit KI-gestützter algorithmischer Netzverzerrung begonnen. (Der Case „How AI will change you“ zeigt wie verschiedene Methoden mit KI-gesteuerten Lösungen kombiniert werden können; Projektion Mapping, Human Body Tracking und Brain Interfaces begleiten uns seitdem in verschiedenen Konzepten.)

Neben dem gemeinsamen Erleben waren die Entwicklungsressourcen ein weiterer wichtiger Gesichtspunkt. Da das Projekt lediglich mit internen Ressourcen entwickelt werden sollte, wurde der Technologie, die viele Ressourcen im Web oder offene APIs hat, Vorrang eingeräumt.

Was die Künstliche Intelligenz betrifft, so wollte ich diesmal die musikalische Richtung einschlagen, nicht nur wegen meiner persönlichen Affinität zur Musik (insbesondere zur klassischen Musik), sondern auch wegen der emotionalen Wirkung, die Musik auslöst.

Vielleicht habt ihr selbst schon die Erfahrung gemacht, dass eine bestimme Erinnerung auftaucht, wenn bestimmte Phrasen oder Melodien erklingen. Uns stellte sich die Frage, ob wir solche Prozesse mit Hilfe modernster Technologie nachbilden könnten.

Eine nostalgische Musikbox als Ausgangskonzept der Installation drängte sich deshalb auf.

Was wäre, wenn das Brain Interface, eine aufkommende Methode der Mensch-Maschine-Schnittstelle, dann das menschliche Gedächtnis mit der von der künstlichen Intelligenz gesteuerten Maschine verbindet? Das Ergebnis der Mensch-Maschine-Zusammenarbeit wird dann durch den mechanischen Autor verarbeitet, und dieser wird das Notenblatt als physische Formen erstellen. Hört sich kompliziert an? War es auch!

The Dream Team

Als die Idee fertig war, fing ich an, nach Leuten zu suchen, die mit ihren Fähigkeiten zur Weiterentwicklung der Idee in die Realität beitragen konnten. Da ich selbst eher der Systementwickler war, brauchte ich jemanden, der die Stanzmaschine entwickelt und jemanden für die Storyline und das Experience Design. Dankenswerter eilten Vinay und Sam mit ihrem Fachwissen im Maschinenbau und Isabel und Stefanie mit ihrer Marketing-Expertise mir zur Seite. Ich erinnere mich noch gut an den Moment, als jedes einzelne Mitglied eine ziemlich ehrgeizige Idee mit einem aufmunternden Lächeln begrüßte (Es gibt keine andere Möglichkeit, den Gesichtsausdruck besser zu erklären :-)).

Die technische Exploration in der Anfangsphase

1) Music generation engine

Ich begann, ein Skript zu schreiben, das MAGENTAs Musikgenerierungs-Engine (in Python geschrieben), die im Backend läuft, mit dem in JavaScript geschriebenen Frontend verbindet.

Um sicherzustellen, dass die Qualität der erzeugten Musik auch für den Zuhörer noch vertraut klingt, verwendete ich die Polyphony RNN Engine. Generiert wurde so Bachs polyphone (mit mehreren gleichzeitig gespielten Noten) aus der gegebenen monophonen (mit einer einzelnen Note zur gleichen Zeit) Melodie als Eingabe. Die Backend-Engine wurde auf dem Python Flask-Server gehostet.

Frontend-Javascript-Code wurde so erstellt, dass das Interface der im Hintergrund laufenden gespielten MIDI-Noten automatisch transkribiert. Das in MAGENTA.js gehostete Modell Onsets and Frames wurde in unseren Javascript-Code integriert.

2) Brain Interface

Neurosky ist das Pionierunternehmen in der BI-Branche (Brain Interface) und bietet verschiedene Geräte an, mit denen ein breites Spektrum an Projektkomplexitäten abgedeckt werden kann. Unter diesen entschied ich mich für die Verwendung der Brain Library, die für das Arduino geschrieben wurde, indem ich ihr Low-End-Modell Mindflex, das für das grundlegende Spielerlebnis entwickelt wurde, grundlegend modifizierte (na gut, hackte).

Aufgrund unserer Wurzeln im Produktdesign kamen wir nicht umhin den Interface-Körper neu zu gestalten und die Schaltung darin zu integrieren.

3) Punching Machine

Wir nahmen die Music Box Auto Hole Punch Machine von Josh Seldon als erste Inspiration für die Maschine. Die vorhandene Maschine stanzt ein Loch nach dem anderen und bietet nicht genug Geschwindigkeit, um mehrstimmige Noten zu stanzen, die mindestens 50 Barren lang gestanzt werden müssen. Unsere Vermutung war: Keiner der Teilnehmer wird geduldig genug sein, 30 Minuten zu warten, um sein Ergebnis zu erhalten, und es wird schließlich die gesamte Benutzererfahrung zerstören. Aus diesem Grund entschlossen wir uns, einen ziemlich kühnen Versuch zu unternehmen und nicht nur das bestehende Gerät zu verbessern, um eine dramatische Steigerung der Stanzgeschwindigkeit zu erreichen, sondern Vinay und Sam setzten auf die komplette Neugestaltung der Stanzmaschine mit verbesserter Stanzgeschwindigkeit (unser Ziel war es, 10 Minuten als maximale Stanzzeit einzuhalten).

Im nächsten Post geht unsere Entwicklungsgeschichte weiter…

Teil II

Teil III

Minjoo Cho

Creative Interaction Technology

Minjoo is Creative Interaction Technologist at INDEED. She loves to reach and combine ideas from different fields including design, technology and art, but always supported by firm humanity within.

The
Mensch


click here for more:
NEWS, BLOG, EVENTS & THINKING