Thinking

April 16, 2020

Der "Apparatus of Euphonious Thinking"

Habt ihr euch jemals gefragt, wie eure Gedanken klingen beim Denken? Wir haben einen Apparat entwickelt, der eure Gehirnwellen in Musik übersetzt.

Music is the wallpaper of our minds – Jamie Wheals


Kommunikation des Unaussprechlichen


Wir glauben, dass Musik die Fähigkeit hat, das Unaussprechliche oder Unausdrückbare zu kommunizieren. Und Menschen haben den Wunsch, diese unaussprechlichen Gedanken zu vertonen, wenn Worte nicht ausreichen. Das Unaussprechliche wird von Künstlern durch Poesie, Bilder und Musik in die Existenz instrumentiert. Mittelbar erschaffen wir etwas Neues; Das Unaussprechliche wird durch unseren Körper (Hände, Mund, Füße) vermittelt, aber WAS WÄRE, WENN WIR NUR KRAFT UNSERER GEDANKEN MELODIEN ERZEUGEN KÖNNTEN?

Das war unser Ansporn: Wir versuchten, eure individuellen Gehirnwellen durch eine Melodie zu vermitteln, indem wir die Signale mit Hilfe des maschinellen Lernens in eine musikalisch befriedigende Melodie übersetzten.


Von neuronalen Signalen zur Musik


Gehirnwellen sind elektrische Impulse, die Erinnerungen transportieren


Während der Erfahrung sind die Teilnehmer frei, alles zu denken, was sie in Form einer Melodie festhalten wollen. Wir ermutigten sie, an eine geschätzte Erinnerung zu denken, ihrer Phantasie freien Lauf zu lassen oder Dinge zu erinnern, die sie begeistern. Diese Gedanken führen zu einer Reihe von Ionenströmen im Gehirn. Diese Signale werden durch das Stirnband des Brain Readers eingefangen.

Diese analogen Signale werden in digitale Musiknoten umgewandelt und mittels eines Algorithmus so iteriert, dass sie in eine Melodie im klassischen Musikstil ergeben. Diese wird dann auf die Stanzmaschine übertragen. Die Maschine wandelt die Melodie in ein Lochmuster um, das in das Notenblatt übertragen wird. Dies kann anschließend mittles einer Musikbox abgespielt werden. Die Musik ist für den Benutzer natürlich auch online verfügbar.


Von hinten durchs Auge


Mit diesem experimentellen Projekt versuchten wir, die menschliche Vorstellungskraft zu materialisieren bzw. eine Erinnerung in Form von Musik hör- und begreifbar zu machen. Der digitale/persönliche/immaterielle Teil: Mit Hilfe der Technik und des maschinellen Lernens mischen wir die Signale des Gehirns zu einer klassischen Melodie im Stil von Bach. Der analoge/öffentliche/materielle Teil: Die Melodie wird in Form eines Lochstreifens präsentiert, das mit einer Kurbelorgel gespielt wird. Der Prozess der Umwandlung der elektrischen Gehirnsignale in digitale Impulse in der von Maschinen ausgeführten Software zu einem greifbaren Notenblatt zeigt den fließenden Informationsfluss von der physischen zur digitalen und dann zurück zur physischen Form. Es ist ein phygitales Erlebnis, das zum Erleben und Spielen einlädt – im ständigen Wechsel zwischen analog und digital, zwischen privat und öffentlich, zwischen Unaussprechlichem und Verständlichem.

Die Unbeschreibbarkeit der Musikerfahrung durch Gehirnwellen

Wie es sich anfühlt, Musik zu hören, die von den Signalen deines Gehirns produziert wird


Weit über hundert Teilnehmer haben ihre Gedanken vertont. Und ironischerweise fiel es ihnen sehr schwer, ihre Gefühle dabei auszudrücken. Während wir die Gehirnsignale aufzeichneten, waren sie von der Idee fasziniert und gespannt darauf, die Musik zu hören. Doch ihnen schienen die Worte zu fehlen, wenn sie ihre Melodie vernahmen. Die wenigstens konnten zum Ausdruck bringen, welche Gedanken ihnen während der Messung wirklich durch den Kopf gingen. Aber die individuelle Melodie holte jeden ab, da wo er stand, und gefiel.

Es drängte die Teilnehmer fast immer dazu, darüber zu philosophieren, dass sie selbst ein Künstler seien und hier ein Experiment vor ihnen stand, dass in der Lage war ihre unbeschreiblichen Gefühle auszudrücken.

Als Entwickler dieses Experiments wurden wir auch Zeuge der Freude unserer Teilnehmer, wenn sie die Musik hörten, die ihr Gehirn hervorbrachte. Es war bemerkenswert zu sehen, wie die Neugierde während des Prozesses in die Entdeckung der endgültigen Musik hineinwuchs, als ob sich ein neues Medium des Selbstausdrucks eröffnete.


Bilder von João Nogueira und Ana Torres - House of Beautiful Business 2019, Lisbon

Vinay Bhajantri

Project Engineer

Vinay is a product design engineer at INDEED. He believes technology has created an enormous push in the society and the role of design is to orient this push with meaningful foresight.

The
Mensch


click here for more:
NEWS, BLOG, EVENTS & THINKING