Von Pixeln zu Tönen: Via Smartphone Farben und Formen hören

„Wir zeigen, dass es möglich ist, die grundlegenden Elemente von Formen per EyeMusic zu kodieren“, erklärt Amir Amedi von der Hebrew University in Jerusalem. „Zudem ist der Erfolg beim Assoziieren von Farbe und musikalischem Timbre sehr vielversprechend.“ Diese Kombination könnte künftig helfen, auch komplexere Formen über das Ohr zu identifizieren. Amedi und Kollegen nutzen für ihr System das Prinzip der sensorischen Substitution: Dabei wird ein Sinnesreiz – hier das Sehen – durch einen anderen – etwa Hören oder Fühlen – ersetzt. Entsprechende Geräte, sogenannte SSDs (für sensory substitution devices) sind zwar seit längerem bekannt, waren bisher aber unhandlich, teuer und nur auf die Formen beschränkt. Amedis Team hingegen nutzt eine Kamera am Brillengestell, Stereokopfhörer sowie ein handelsübliches Smartphone. Dieses System kann detaillierte Umgebungsinformationen in „akustische Landschaften“ verwandeln. Zunächst kamen die Bilder einer einfachen Schwarzweiß-Kamera mit 60x60 Pixeln Auflösung zum Einsatz.
Diese Bildpunkte setzt der EyeMusic-Algorithmus in passende Töne um, berichtet Kollegin Ella Striem-Amit: „Denken Sie an eine diagonale Linie von links oben nach rechts unten: Wenn wir eine absteigende Tonleiter nutzen, erhält man eine gute Vorstellung davon.“ Je höher der Punkt im Bild, desto höher der zugehörige Ton – während das Timing der Töne den horizontalen Abstand wiedergibt. Punkte links sind früher zu hören als solche rechts. Liefert eine Kamera hingegen Farben, so steckt diese Informationen im Typ der Musikinstrumente, die zum Einsatz kommen: Trompetenklang bedeutet blau, Violinen gelb, Holzblasinstrumente grün, Klavier rot und Gesang weiß. Schwarz ist durch Stille repräsentiert.
Solche Klanglandschaften konnten die Versuchspersonen in Amedis „Center for Human Perception and Cognition“ bereits nach zwei bis drei Stunden Übung gut interpretieren. Das galt nicht nur für blinde und sehbehinderte Probanden, denen ein besonders scharfes Gehör nachgesagt wird, sondern auch für Sehende. Diese Kontrollgruppe bekam lediglich die Augen verbunden. Überraschenderweise lernte sie die Klanglandschaften aus dem Kamerasystem aber ähnlich schnell zu interpretieren. Die SSDs funktionieren also unabhängig von der Art der Sehstörung und sind nicht-invasiv, also ohne aufwändige Operation zu nutzen. Auch deshalb scheinen sie derzeit die bessere Lösung im Vergleich zu technischen Netzhaut-Implantaten, an denen Forschergruppen weltweit arbeiten.
Was beim „Bilderhören“ im Gehirn vor sich geht, betrachtete die zweite Studie der Jerusalemer Forscher: Die Scans funktioneller Magnetresonanztomographen zeigten, dass die akustischen Signale des EyeMusic-Systems nicht in der sogenannten Hörrinde des Gehirns, sondern tatsächlich in der Sehrinde verarbeitet werden. „Die Unterschiede von Körperformen zu Texturen, Objekten und Gesichtern zeigten sich nicht im Temporallappen (für das Hören) oder dem Somatosensorischen Cortex (für das Fühlen), sondern nur im visuellen Cortex – speziell in jenem Areal namens EBA, das für die Wahrnehmung von Körpern verantwortlich ist. Diese Hirnregion wurde nach ausführlichem Training selbst bei Menschen aktiv, die von Geburt an blind waren und so kaum Erfahrung mir Körperformen hatten. Das beweist, so Amedi, dass das Gehirn nicht starr eintreffende Sinneseindrücke verarbeitet, sondern flexibler sei als bisher gedacht: „Es legt nahe, dass Hirnareale zum Verarbeiten visueller Information auch bei Blinden ‚geweckt’ werden können, wenn man passende Technologien und Trainingsansätze nutzt.“