Sonifikation ermöglicht Ihnen, Daten zu verstehen, indem Sie sie hören. Das Prinzip ähnelt der Visualisierung, mit der Sie Daten verstehen, indem Sie sie sehen. Geigerzähler und akustischer Parkassistent sind primitive Beispiele, die nur wenig Informationen liefern. Dabei gibt es Sonifikationen, die Chirurgen bei schwierigen Operationen und Piloten bei komplizierten Manövern unterstützen können. Wir liefern Ihnen hier Erklärungen, Beispiele und Links zu Sonifikations-Apps zum Ausprobieren.

Das ist Sonifikation

Täglich begegnen Sie tausenden Visualisierungen, von der schlichten Nadelanzeige beim Tacho oder dem Luftbläschen in der Wasserwaage, über Tortendiagramme und Graphen, bis hin zu umfangreichen Menüs und grafischen Nutzeroberflächen (GUIs). Visualisierungen bereiten Daten so auf, dass Sie sie sehend interpretieren können. Sonifikationen bereiten Daten so auf, dass Sie sie hörend interpretieren können:

  • Auditory Icons klingen nach dem, was sie aussagen sollen. Zum Beispiel imitiert Ihre Handy-Kamera das Öffnen und Schließen der Linse eines herkömmlichen Fotoapparats; rein akustisch. So hören Sie, wann genau der Schnappschuss ausgeführt wurde:
  • Earcons sind kurze Klänge oder Klangsequenzen, deren Bedeutung sie lernen müssen. Stecken Sie einen USB-Stick in Ihren Computer: Sie hören eine aufsteigende Melodie aus vier Tönen, wie in dem Beispiel. Ziehen Sie ihn wieder raus, hören Sie hingegen eine absteigende Sequenz aus drei Tönen.
  • Audifikation bedeutet, dass Sie irgendeine Datenreihe als Sound abspielen. In dem Video hören Sie, die Download-Zahlen unserer App im Play Store: Nach langer Stille gibt es einen viralen Peak, auf den ein niedriges Niveau an Downloads folgt. Das Klingt wie Stille, ein kurzes Klatschen, gefolgt von etwas Nachhall.
  • Sonifikation umfasst Auditory Icons, Earcons und Audifikation. Darüber hinaus kann Sonifikation deutlich größere Datenmengen darstellen, zum Beispiel als Navigationshilfe in der Chirurgie, oder einfache Zusammenhänge verdeutlichen, wie die verschiedenen Zeiten, die die Jupitermonde brauchen, um ihren Planeten zu umkreisen:
Sonifikation ganz einfach: Immer, wenn ein Mond den Jupiter umkreist, spielt ein Ton. Jeder Mond hat seine eigene Tonhöhe. Konzentrieren Sie sich auf eine Tonhöhe, um seinen regelmäßigen Takt zu finden. Oder lauschen Sie der Melodie, um die zeitlichen Zusammenhänge der Monde zu verstehen. Video: Elias Elmquist
  • Eine gute Sonifikation spielt die Stärken des Gehörs aus: Wir können dutzende Sounds pro Sekunde unterscheiden, sehr schnell auf Schallreize reagieren, wir hören Schall auch um Hindernisse herum, in Dunkelheit, oder wenn wir unser Augenmerk auf etwas anderes richten.
  • Sonikation in der Medizin wird manchmal auch als Sonifikation bezeichnet. Sie beschreibt allerdings die Beschallung von Gewebe und nicht die Darstellung von Daten.

Sonifikationen ausprobieren

Sonifikationen können völlig unterschiedlich klingen und sind für jeden erdenklichen Zweck einsetzbar. Oft wird der Sound speziell für die einzelne Anwendung konzipiert. Mit vier Tools und etwas Neugier können Sie Sonifikation erleben und erlernen.

  1. Tiltification: Die akustische Wasserwaage für Android und Wasserwaage für iOS ermöglicht es Ihnen, Ihren Tisch nach Gehör perfekt auszurichten. Das geht sogar schneller, als mit einer grafischen Lösung.
  2. Highchart Sonification Studio: In diesem Online-Tool können Sie Datenreihen sonifizieren und visualisieren. Die Sonifikationsmethode ist schlicht, aber auch für ungeübte Hörer’innen intuitiv.
  3. CURAT Sonification Game: Mit diesem Sonification Game für Android lernen Sie spielerisch, Sonifikation zu nutzen. Sie navigieren durch den Ein-, Zwei- und dann Drei-Dimensionalen Raum, indem Sie auf die verschiedenen Klangeigenschaften achten.
  4. Breathscape: Diese Entspannungs-App für Android unterstützt Ihre Atemübungen. Leider läuft sie nur auf sehr leistungsfähigen Handys flüssig.

Sie werden feststellen, dass Sonifikationen umso schwieriger zu verstehen sind, je mehr Informationen Sie verklanglichen. Erst wenn Sie wissen, um welche Daten es sich handelt, und wenn Sie die Beziehung zwischen Daten und Klangeigenschaften erlernt haben, verstehen Sie sie. Dasselbe gilt auch für Visualisierungen. Ohne musiktheoretische Kenntnisse und eine Legende, die die Farben und Positionen der Linien erklärt, verstehen Sie die folgende Grafik sicher nicht:

Sonifikation und Visualisierung sind ohne Kontext oft unklar.

Sonifikation und Visualisierung sind ohne Vorkenntnisse und Erfahrung kaum zu verstehen. Oder hätten Sie erkannt, dass hier Musik in E-Dur beschrieben wird? Grafik: Tim Ziemer

Obwohl Sonifikation keine Musik ist, braucht man das Wissen aus der Systematischen Musikwissenschaft, um Sonifikationen zu entwickeln, insbesondere Psychoakustik, Neurokognition und Audio-Signalverarbeitung. Wenn Sie bereits Erfahrung im Sound-Design haben, nehmen Sie am Sonic Tilt Wettbewerb teil und entwickeln Sie Ihre eigene Sonifikation.

Literatur zu Sonifikation

Das Sonification Handbook, herausgegeben von Thomas Hermann, Andy Hunt und John G. Neuhoff, gilt als Standardwerk der Sonifikation.

Im AES: Journal of the Audio Engineering Society, Special Issue on Sonification haben Tim Ziemer, Thomas Hermann, Kyla McMullen und Robert Höldrich eine Sammlung der neusten Forschung im Bereich der Sonifikation zusammengestellt.

Einen Überblick über Design and Perception of Sonification finden Sie im Special Issue des Journal on Multimodal User Interfaces, herausgegeben von Tim Ziemer, Sara Lenzi, Niklas Rönnberg, Thomas Hermann und Roberto Bresin.