Apparatus of Euphonious Thinking [DE]
Music is the wallpaper of our minds – Jamie Wheals
Kommunikation des Unaussprechlichen
Wir glauben, dass Musik die Fähigkeit hat, das Unaussprechliche oder Unausdrückbare zu kommunizieren. Und Menschen haben den Wunsch, diese unaussprechlichen Gedanken zu vertonen, wenn Worte nicht ausreichen. Das Unaussprechliche wird von Künstlern durch Poesie, Bilder und Musik in die Existenz instrumentiert. Mittelbar erschaffen wir etwas Neues; Das Unaussprechliche wird durch unseren Körper (Hände, Mund, Füße) vermittelt, aber WAS WÄRE, WENN WIR NUR KRAFT UNSERER GEDANKEN MELODIEN ERZEUGEN KÖNNTEN?
Das war unser Ansporn: Wir versuchten, eure individuellen Gehirnwellen durch eine Melodie zu vermitteln, indem wir die Signale mit Hilfe des maschinellen Lernens in eine musikalisch befriedigende Melodie übersetzten.
Von neuronalen Signalen zur Musik
Gehirnwellen sind elektrische Impulse, die Erinnerungen transportieren
Während der Erfahrung sind die Teilnehmer frei, alles zu denken, was sie in Form einer Melodie festhalten wollen. Wir ermutigten sie, an eine geschätzte Erinnerung zu denken, ihrer Phantasie freien Lauf zu lassen oder Dinge zu erinnern, die sie begeistern. Diese Gedanken führen zu einer Reihe von Ionenströmen im Gehirn. Diese Signale werden durch das Stirnband des Brain Readers eingefangen.
Diese analogen Signale werden in digitale Musiknoten umgewandelt und mittels eines Algorithmus so iteriert, dass sie in eine Melodie im klassischen Musikstil ergeben. Diese wird dann auf die Stanzmaschine übertragen. Die Maschine wandelt die Melodie in ein Lochmuster um, das in das Notenblatt übertragen wird. Dies kann anschließend mittles einer Musikbox abgespielt werden. Die Musik ist für den Benutzer natürlich auch online verfügbar.
Von hinten durchs Auge
Mit diesem experimentellen Projekt versuchten wir, die menschliche Vorstellungskraft zu materialisieren bzw. eine Erinnerung in Form von Musik hör- und begreifbar zu machen. Der digitale/persönliche/immaterielle Teil: Mit Hilfe der Technik und des maschinellen Lernens mischen wir die Signale des Gehirns zu einer klassischen Melodie im Stil von Bach. Der analoge/öffentliche/materielle Teil: Die Melodie wird in Form eines Lochstreifens präsentiert, das mit einer Kurbelorgel gespielt wird. Der Prozess der Umwandlung der elektrischen Gehirnsignale in digitale Impulse in der von Maschinen ausgeführten Software zu einem greifbaren Notenblatt zeigt den fließenden Informationsfluss von der physischen zur digitalen und dann zurück zur physischen Form. Es ist ein phygitales Erlebnis, das zum Erleben und Spielen einlädt – im ständigen Wechsel zwischen analog und digital, zwischen privat und öffentlich, zwischen Unaussprechlichem und Verständlichem.
Die Unbeschreibbarkeit der Musikerfahrung durch Gehirnwellen
Wie es sich anfühlt, Musik zu hören, die von den Signalen deines Gehirns produziert wird
Weit über hundert Teilnehmer haben ihre Gedanken vertont. Und ironischerweise fiel es ihnen sehr schwer, ihre Gefühle dabei auszudrücken. Während wir die Gehirnsignale aufzeichneten, waren sie von der Idee fasziniert und gespannt darauf, die Musik zu hören. Doch ihnen schienen die Worte zu fehlen, wenn sie ihre Melodie vernahmen. Die wenigstens konnten zum Ausdruck bringen, welche Gedanken ihnen während der Messung wirklich durch den Kopf gingen. Aber die individuelle Melodie holte jeden ab, da wo er stand, und gefiel.
Es drängte die Teilnehmer fast immer dazu, darüber zu philosophieren, dass sie selbst ein Künstler seien und hier ein Experiment vor ihnen stand, dass in der Lage war ihre unbeschreiblichen Gefühle auszudrücken.
Als Entwickler dieses Experiments wurden wir auch Zeuge der Freude unserer Teilnehmer, wenn sie die Musik hörten, die ihr Gehirn hervorbrachte. Es war bemerkenswert zu sehen, wie die Neugierde während des Prozesses in die Entdeckung der endgültigen Musik hineinwuchs, als ob sich ein neues Medium des Selbstausdrucks eröffnete.
DER BEGINN EINER LANGEN REISE
-geschrieben von Minjoo
Die Arbeit als Creative Technologist in einer Designfirma erfordert unerbittliche Neugier und die Bereitschaft jederzeit eine Herausforderung anzunehmen. Der Weg zum „Apparatus of Euphonious Thinking“ begann mit der plötzlichen Einladung von Karel: „Minjoo, um die innovative Kultur von INDEED erlebbar zu machen, möchte ich, dass du über eine interaktive Installation nachdenkst, die modernste Technologie mit etwas Mechanischem verbindet“.
Wenn ich solche (manchmal abstrakt erscheinenden) Aufträge annehme, habe ich die folgenden drei Kriterien im Hinterkopf:
1) Lernerfahrung
Anstatt nur vorhandene Fähigkeiten zu kombinieren, sollten wir die Gelegenheit nutzen, die neueste Technologie zu erlernen, die für zukünftige Projekte benötigt werden.
2) Repräsentation von INDEED
Die Installation sollte die Kernfähigkeit von INDEED beinhalten – einen starken, von Kreativität durchdrungenen Hintergrund im Bereich Produktdesign und Technik haben.
3) Emotionale Berührungspunkte
Bei INDEED möchten wir nicht nur Neues schaffen, sondern die Menschen auch auf emotionale Art berühren. Verwurzelt in unserem humanistischen Denken streben wir danach, Technik, Menschen und Erfahrungen miteinander zu verbinden.
Wir waren seit jeher daran interessiert, verschiedene Anwendungen der Künstlichen Intelligenz zu erforschen und haben bereits 2017 unsere explorative Studie mit KI-gestützter algorithmischer Netzverzerrung begonnen. (Der Case „How AI will change you“ zeigt wie verschiedene Methoden mit KI-gesteuerten Lösungen kombiniert werden können; Projektion Mapping, Human Body Tracking und Brain Interfaces begleiten uns seitdem in verschiedenen Konzepten.)
Neben dem gemeinsamen Erleben waren die Entwicklungsressourcen ein weiterer wichtiger Gesichtspunkt. Da das Projekt lediglich mit internen Ressourcen entwickelt werden sollte, wurde der Technologie, die viele Ressourcen im Web oder offene APIs hat, Vorrang eingeräumt.
Was die Künstliche Intelligenz betrifft, so wollte ich diesmal die musikalische Richtung einschlagen, nicht nur wegen meiner persönlichen Affinität zur Musik (insbesondere zur klassischen Musik), sondern auch wegen der emotionalen Wirkung, die Musik auslöst.
Vielleicht habt ihr selbst schon die Erfahrung gemacht, dass eine bestimme Erinnerung auftaucht, wenn bestimmte Phrasen oder Melodien erklingen. Uns stellte sich die Frage, ob wir solche Prozesse mit Hilfe modernster Technologie nachbilden könnten.
Eine nostalgische Musikbox als Ausgangskonzept der Installation drängte sich deshalb auf.
Was wäre, wenn das Brain Interface, eine aufkommende Methode der Mensch-Maschine-Schnittstelle, dann das menschliche Gedächtnis mit der von der künstlichen Intelligenz gesteuerten Maschine verbindet? Das Ergebnis der Mensch-Maschine-Zusammenarbeit wird dann durch den mechanischen Autor verarbeitet, und dieser wird das Notenblatt als physische Formen erstellen. Hört sich kompliziert an? War es auch!
THE DREAM TEAM
Als die Idee fertig war, fing ich an, nach Leuten zu suchen, die mit ihren Fähigkeiten zur Weiterentwicklung der Idee in die Realität beitragen konnten. Da ich selbst eher der Systementwickler war, brauchte ich jemanden, der die Stanzmaschine entwickelt und jemanden für die Storyline und das Experience Design. Dankenswerter eilten Vinay und Sam mit ihrem Fachwissen im Maschinenbau und Isabel und Stefanie mit ihrer Marketing-Expertise mir zur Seite. Ich erinnere mich noch gut an den Moment, als jedes einzelne Mitglied eine ziemlich ehrgeizige Idee mit einem aufmunternden Lächeln begrüßte (Es gibt keine andere Möglichkeit, den Gesichtsausdruck besser zu erklären :-)).
DIE TECHNISCHE EXPLORATION IN DER ANFANGSPHASE
1) Music generation engine
Ich begann, ein Skript zu schreiben, das MAGENTAs Musikgenerierungs-Engine (in Python geschrieben), die im Backend läuft, mit dem in JavaScript geschriebenen Frontend verbindet.
Um sicherzustellen, dass die Qualität der erzeugten Musik auch für den Zuhörer noch vertraut klingt, verwendete ich die Polyphony RNN Engine. Generiert wurde so Bachs polyphone (mit mehreren gleichzeitig gespielten Noten) aus der gegebenen monophonen (mit einer einzelnen Note zur gleichen Zeit) Melodie als Eingabe. Die Backend-Engine wurde auf dem Python Flask-Server gehostet.
Frontend-Javascript-Code wurde so erstellt, dass das Interface der im Hintergrund laufenden gespielten MIDI-Noten automatisch transkribiert. Das in MAGENTA.js gehostete Modell Onsets and Frames wurde in unseren Javascript-Code integriert.
2) Brain Interface
Neurosky ist das Pionierunternehmen in der BI-Branche (Brain Interface) und bietet verschiedene Geräte an, mit denen ein breites Spektrum an Projektkomplexitäten abgedeckt werden kann. Unter diesen entschied ich mich für die Verwendung der Brain Library, die für das Arduino geschrieben wurde, indem ich ihr Low-End-Modell Mindflex, das für das grundlegende Spielerlebnis entwickelt wurde, grundlegend modifizierte (na gut, hackte).
Aufgrund unserer Wurzeln im Produktdesign kamen wir nicht umhin den Interface-Körper neu zu gestalten und die Schaltung darin zu integrieren.
3) Punching Machine
Wir nahmen die Music Box Auto Hole Punch Machine von Josh Seldon als erste Inspiration für die Maschine. Die vorhandene Maschine stanzt ein Loch nach dem anderen und bietet nicht genug Geschwindigkeit, um mehrstimmige Noten zu stanzen, die mindestens 50 Barren lang gestanzt werden müssen. Unsere Vermutung war: Keiner der Teilnehmer wird geduldig genug sein, 30 Minuten zu warten, um sein Ergebnis zu erhalten, und es wird schließlich die gesamte Benutzererfahrung zerstören. Aus diesem Grund entschlossen wir uns, einen ziemlich kühnen Versuch zu unternehmen und nicht nur das bestehende Gerät zu verbessern, um eine dramatische Steigerung der Stanzgeschwindigkeit zu erreichen, sondern Vinay und Sam setzten auf die komplette Neugestaltung der Stanzmaschine mit verbesserter Stanzgeschwindigkeit (unser Ziel war es, 10 Minuten als maximale Stanzzeit einzuhalten).
DER MARATHON
-geschrieben von Sam
Im Anschluss an die Konzeption und Grundlagenentwicklung stiegen Sam und Vinay in die Detailentwicklung des Puncher ein, indem sie die Stanzen in 4 versetzten Linien neu anordneten. Diese Idee wurde dann in ein 3D-Modell umgesetzt, um die Funktionsweise zu visualisieren und erste Probleme bei der Herstellung und Montage zu beheben.
1) Einzelteile entstehen
Zooming in: Wir unterteilen die Vision in kleinere Aufgaben, die zu erledigen waren. Und näherten uns so Schritt für Schritt. Es wurden die einzelnen Komponenten hergestellt und getestet. Wir begannen damit, das Lesegerät zu hacken, um mit Arduino nano ein Signal zu erhalten. Dann stellte Sam den ersten Stanzblock mit einem einzigen Servo her, der zuverlässig Löcher stanzen konnte. Mit Blick auf kleine Fortschritte fertigten wir dann ein Mockup des gesamten Aufbaus an, wobei wir Pappkartons verwendeten, um die Erfahrung, Benutzerfreundlichkeit und Ergonomie zu testen.
Zooming out: Mit jedem fertiggestellten Einzelteil bzw. Komponenten, die hergestellt und getestet wurde, wuchsen unsere Ambitionen. Wir entwickelten mit einigen Teammitgliedern, die ästhetische Vision der Installation und schufen die obligatorischen Moodboards als Ausgangspunkt fürs Design. Wir dachten die Maschine von innen nach außen, um jedem Nutzer Einblick in die Herstellung seiner Melodie zu geben und so quasi „den Schleier der technischen Umsetzung“ zu lüften.
Nachdem die ästhetische Vision und das CAD-Modell fertig waren, begannen wir mit der Integration der Komponenten, um größere Unterbaugruppen herzustellen. Minjoo übernahm die Skalierung des einen Servo-Stanzblocks auf die gemeinsame Steuerung von 30 Servo-Blöcken. Sam baute die Kernstanzbaugruppe mit allen 30 Stanzblöcken, und Vinay begann mit der Herstellung des Mittelteils. Nach vielen Stunden, die wir auf unsere eigenen Aufgaben konzentrierten, kamen wir nach drei Wochen zusammen, um die obere Baugruppe zu integrieren und zu montieren.
2) Testen, Versagen und Reparieren
Mit der Integration begannen wir die ersten Misserfolge zu erleben. Bald wurden wir alle zu Detektiven, die versuchten, die Probleme zu finden. Die Lösung des Problems war nie ein Thema, uns gingen nie die Ideen aus, aber das Herausfinden des Problems (Debugging) nahm den größeren Teil unserer Zeit in Anspruch. Bis zum Tag vor der Ausstellung stolperten wir über Probleme, die gelöst werden wollten.
Am Abend vor der Ausstellung brannte der Stanzmotor am Veranstaltungsort, und die Maschine ging kaputt. („Kaputt“ ist nebenbei das Wort, dass jeder Kollege auch ohne weitere deutsche Sprachkenntnisse bei uns als erstes lernt ) Wir gingen zurück in die Werkstatt, immer noch überhaupt nicht in der Stimmung aufzugeben, beruhigten uns, begannen das Problem zu beheben. Am Tag der Ausstellung lief die Maschine mit einigen notwendigen Pausen relativ rund.
3) Das Upgrade
Wir wussten, dass die Korrekturen, die wir bereits vorgenommen hatten, nicht ausreichend waren. Es standen zwei große Events bevor, und wir mussten die Maschine so vorbereiten, dass sie zuverlässiger lief. Deshalb machten wir einen Schritt zurück und organisierten uns vom Projektmanagement bis hin zu den Konstruktions- und Engineering-Aufgaben neu. Sam wurde der Stab des Projektleiters übertragen; Vinay übernahm die Entwicklung einer Leiterplatte mit integrierten Sicherheitsfunktionen, und Minjoo befasste sich mit der Software und der Integration von Software und Hardware.
Ein eher scrumartiger Ansatz hat uns geholfen, den Fokus zu behalten. Während der ersten Projektphase haben wir uns manchmal in den Problemen und den überwältigenden Anforderungen des ursprünglichen Konzepts verloren. Etwas Abstand und eine Pause ermöglichten es uns, unsere Arbeit in angemesseneren Sprints mit klaren Zielen und Meilensteinen neu zu fokussieren und zu koordinieren. Controlling und Evaluation wurden zum integrativen Bestandteil unserer Arbeit und unseres Ansatzes.
Wir wussten, wohin wir wollten, und jeder gelieferte Meilenstein konnte als solcher gefeiert endlich auch gebührend werden.
CROSSING THE FINISH LINE
-geschrieben von Vinay
Als das Gerät zum ersten Mal im Digital Kindergarten ausgestellt wurde, hatte es einige Problemchen. Aber mit dem großen Sicherheitsupgrade der Elektronik und dem besseren Motor funktionierte sie bei der nächsten Veranstaltung – Chamber of beautiful business – wie ein Charme.
Dies war die erste Veranstaltung, die das ganze Team als Erfolg erkennen konnte. Fast alle Teilnehmer konnten die gesamte Experience erleben und waren von der Musik, die von ihren eigenen Gedanken erzeugt wurden, beeindruckt. Mit mehr Edutainment-Material von Isabel und Steffi konnten wir besser erklären, wie die Maschine und das System funktionierten, und das bereicherte das Erlebnis noch weiter.
House of Beautiful Business
Die nächsten Wochen waren darauf ausgerichtet, die Maschine auf Haltbarkeit und Qualität der Musik zu testen. Wir passten die Plattform an, um sie transportabel zu machen, da wir für die nächste Veranstaltung nach Lissabon fliegen mussten. Mitten in der ganzen Aufregung, dort zu sein und alles aufzubauen, trafen wir am Abend vor der Veranstaltung auf unvorhergesehene Schwierigkeiten.
Während des Testlaufs (noch ohne Publikum) stellten wir fest, dass der Motor nicht genügend Leistung bekam, also gingen wir zurück in den Modultestmodus. Wir erstellten einen Aktionsplan zur Fehlerbehebung und begannen langsam, alle Schnittstellen der Mechanik zu prüfen.
Mit Witz und Hacker-Geist, von der Beschaffung von Olivenöl und Labello zur Schmierung bis zum Missbrauch eine Nagelfeile zum Schärfen der Schlagbolzen gelang es uns, die Zahnräder am Motor zu finden und zu reparieren. Der Versatz muss während des Transports geschehen sein. Aber es lief rund, und wir schliefen ein, mit einem lachenden und einem weinenden Auge, ungewiss der Performance in den kommenden Tagen.
Doch in den folgenden Tagen lief der Motor wie geschmiert. Die Maschine funktionierte gut, wir waren alle super aufgeregt, aber es kamen vereinzelt Leute und genossen die Erfahrung. Dank Mundpropaganda wuchs der Besucherstrom bis zum Ende der Veranstaltung deutlich. Jeder wollte ein Andenken geformt aus seinen eigenen Gedanken mit nach Hause nehmen.Dieses Projekt war von vielen Höhen und Tiefen geprägt. Am positivsten war die intensivere und authentische Verbindung miteinander, die wir nicht nur untereinander sondern auch mit der Idee und der Maschine empfanden. Einer der surrealen Momente war, als sich nach dem Motorbrand jeder eine Stunde frei nahm, zurückkam und wir alle härter daran arbeiten wollten, die Probleme zu lösen, wobei wir zu keinem Zeitpunkt daran dachten, aufzugeben.
Wir hatten einen radikalen und großen Traum, aber wir brauchten pragmatisches Denken, um ihn zu verwirklichen. Eine Lehre, die wir für den Umgang mit solchen Projekten mitnehmen. In aufeinander folgenden Projektphasen haben wir Maßnahmen ergriffen, um das Versprochene in Module umzusetzen, die die ehrgeizige ursprüngliche Idee Realität werden lassen.
Dieses Projekt hat uns eine reale Erfahrung geliefert, um verschiedenstes Expertenwissen, Rollenverständnisse und Denkweisen auszuprobieren, was uns zu besseren Innovatoren macht.
Und zum Glück sind wir jetzt an einem Punkt angelangt, an dem wir mit der Installation auf Tour gehen können. Lasst uns also – wie die Damen vom Fruchthof Campus zu Weihnachten – einfach wissen, welche Veranstaltung wir mit unserer Installation bereichern dürfen, und wir schnüren gern ein individuelles Paket mit Musik, liebenswerten Kollegen und einer brillanten Maschine.
Ein Beitrag von Minjoo Cho, Sam Swift und Vinay Bhajantri.
Bilder von João Nogueira und Ana Torres – House of Beautiful Business 2019, Lisbon
