Von Pixeln zu Tönen: Via Smartphone Farben und Formen hören

Neues System der Echolokation setzt Bildinformation in hörbare Klanglandschaften um
Eine einfache Kamera am Brillengestell liefert die Bilder, die das EyeMusic-System in Klänge umwandelt und dem Probanden ermöglichen, unter den Äpfeln auf dem Teller den roten zu erkennen
Eine einfache Kamera am Brillengestell liefert die Bilder, die das EyeMusic-System in Klänge umwandelt und dem Probanden ermöglichen, unter den Äpfeln auf dem Teller den roten zu erkennen
© Restorative Neurology and Neuroscience (Amedi et al.)
Jerusalem (Israel) - Fledermäuse und Delfine können es – und mit viel Übung auch manche Blinde: aus dem Echo eines Klicklauts ihre Umgebung erkennen. Doch die meisten Menschen hören aus Umgebungsgeräuschen nur ungefähre Hinweise heraus. Das wollen israelische Forscher nun mithilfe von Technik ändern: Sie setzen Kamerabilder in Klanglandschaften um, die übers Ohr nicht nur Distanzen und Formen, sondern auch Farben und Materialien vermitteln können. Mit ihrem „EyeMusic“-System, das im Vorjahr bereits erste Tests bestand, sind selbst Gesichtsausdrücke und Körperhaltungen grob zu erkennen. In Kombination mit Kamera und Kopfhörer ist der Algorithmus sogar auf Smartphones einsetzbar. Schon nach wenigen Stunden Übung konnten blinde Testpersonen verschiedene Grundformen und Farben heraushören. Dasselbe gelang auch sehenden Probanden mit einer Augenbinde, schreibt das Team im Fachblatt „Restorative Neurology and Neuroscience“. Was dabei im Gehirn geschieht, enthüllt ihr zweiter aktueller Bericht im Magazin „Current Biology“: Hirnscans beweisen, dass ein solches „Sehen über das Ohr“ tatsächlich die visuellen Areale im Gehirn beschäftigt.

„Wir zeigen, dass es möglich ist, die grundlegenden Elemente von Formen per EyeMusic zu kodieren“, erklärt Amir Amedi von der Hebrew University in Jerusalem. „Zudem ist der Erfolg beim Assoziieren von Farbe und musikalischem Timbre sehr vielversprechend.“ Diese Kombination könnte künftig helfen, auch komplexere Formen über das Ohr zu identifizieren. Amedi und Kollegen nutzen für ihr System das Prinzip der sensorischen Substitution: Dabei wird ein Sinnesreiz – hier das Sehen – durch einen anderen – etwa Hören oder Fühlen – ersetzt. Entsprechende Geräte, sogenannte SSDs (für sensory substitution devices) sind zwar seit längerem bekannt, waren bisher aber unhandlich, teuer und nur auf die Formen beschränkt. Amedis Team hingegen nutzt eine Kamera am Brillengestell, Stereokopfhörer sowie ein handelsübliches Smartphone. Dieses System kann detaillierte Umgebungsinformationen in „akustische Landschaften“ verwandeln. Zunächst kamen die Bilder einer einfachen Schwarzweiß-Kamera mit 60x60 Pixeln Auflösung zum Einsatz.

Diese Bildpunkte setzt der EyeMusic-Algorithmus in passende Töne um, berichtet Kollegin Ella Striem-Amit: „Denken Sie an eine diagonale Linie von links oben nach rechts unten: Wenn wir eine absteigende Tonleiter nutzen, erhält man eine gute Vorstellung davon.“ Je höher der Punkt im Bild, desto höher der zugehörige Ton – während das Timing der Töne den horizontalen Abstand wiedergibt. Punkte links sind früher zu hören als solche rechts. Liefert eine Kamera hingegen Farben, so steckt diese Informationen im Typ der Musikinstrumente, die zum Einsatz kommen: Trompetenklang bedeutet blau, Violinen gelb, Holzblasinstrumente grün, Klavier rot und Gesang weiß. Schwarz ist durch Stille repräsentiert.

Solche Klanglandschaften konnten die Versuchspersonen in Amedis „Center for Human Perception and Cognition“ bereits nach zwei bis drei Stunden Übung gut interpretieren. Das galt nicht nur für blinde und sehbehinderte Probanden, denen ein besonders scharfes Gehör nachgesagt wird, sondern auch für Sehende. Diese Kontrollgruppe bekam lediglich die Augen verbunden. Überraschenderweise lernte sie die Klanglandschaften aus dem Kamerasystem aber ähnlich schnell zu interpretieren. Die SSDs funktionieren also unabhängig von der Art der Sehstörung und sind nicht-invasiv, also ohne aufwändige Operation zu nutzen. Auch deshalb scheinen sie derzeit die bessere Lösung im Vergleich zu technischen Netzhaut-Implantaten, an denen Forschergruppen weltweit arbeiten.

Was beim „Bilderhören“ im Gehirn vor sich geht, betrachtete die zweite Studie der Jerusalemer Forscher: Die Scans funktioneller Magnetresonanztomographen zeigten, dass die akustischen Signale des EyeMusic-Systems nicht in der sogenannten Hörrinde des Gehirns, sondern tatsächlich in der Sehrinde verarbeitet werden. „Die Unterschiede von Körperformen zu Texturen, Objekten und Gesichtern zeigten sich nicht im Temporallappen (für das Hören) oder dem Somatosensorischen Cortex (für das Fühlen), sondern nur im visuellen Cortex – speziell in jenem Areal namens EBA, das für die Wahrnehmung von Körpern verantwortlich ist. Diese Hirnregion wurde nach ausführlichem Training selbst bei Menschen aktiv, die von Geburt an blind waren und so kaum Erfahrung mir Körperformen hatten. Das beweist, so Amedi, dass das Gehirn nicht starr eintreffende Sinneseindrücke verarbeitet, sondern flexibler sei als bisher gedacht: „Es legt nahe, dass Hirnareale zum Verarbeiten visueller Information auch bei Blinden ‚geweckt’ werden können, wenn man passende Technologien und Trainingsansätze nutzt.“

© Wissenschaft aktuell


 

Home | Über uns | Kontakt | AGB | Impressum | Datenschutzerklärung
© Wissenschaft aktuell & Scientec Internet Applications + Media GmbH, Hamburg