Das ist Sonifikation

Täglich begegnen Sie tausenden Visualisierungen, von der schlichten Nadelanzeige beim Tacho oder dem Luftbläschen in der Wasserwaage, über Tortendiagramme und Graphen, bis hin zu umfangreichen Menüs und grafischen Nutzeroberflächen (GUIs). Visualisierungen bereiten Daten so auf, dass Sie sie sehend interpretieren können. Sonifikationen bereiten Daten so auf, dass Sie sie hörend interpretieren können:

• Auditory Icons klingen nach dem, was sie aussagen sollen. Zum Beispiel imitiert Ihre Handy-Kamera das Öffnen und Schließen der Linse eines herkömmlichen Fotoapparats; rein akustisch. So hören Sie, wann genau der Schnappschuss ausgeführt wurde:

• Earcons sind kurze Klänge oder Klangsequenzen, deren Bedeutung sie lernen müssen. Stecken Sie einen USB-Stick in Ihren Computer: Sie hören eine aufsteigende Melodie aus vier Tönen, wie in dem Beispiel. Ziehen Sie ihn wieder raus, hören Sie hingegen eine absteigende Sequenz aus drei Tönen.

• Audifikation bedeutet, dass Sie irgendeine Datenreihe als Sound abspielen. In dem Video hören Sie, die Download-Zahlen unserer App im Play Store: Nach langer Stille gibt es einen viralen Peak, auf den ein niedriges Niveau an Downloads folgt. Das Klingt wie Stille, ein kurzes Klatschen, gefolgt von etwas Nachhall.

• Sonifikation umfasst Auditory Icons, Earcons und Audifikation. Darüber hinaus kann Sonifikation deutlich größere Datenmengen darstellen, zum Beispiel als Navigationshilfe in der Chirurgie, oder einfache Zusammenhänge verdeutlichen, wie die verschiedenen Zeiten, die die Jupitermonde brauchen, um ihren Planeten zu umkreisen:

• Eine gute Sonifikation spielt die Stärken des Gehörs aus: Wir können dutzende Sounds pro Sekunde unterscheiden, sehr schnell auf Schallreize reagieren, wir hören Schall auch um Hindernisse herum, in Dunkelheit, oder wenn wir unser Augenmerk auf etwas anderes richten.
• Sonikation in der Medizin wird manchmal auch als Sonifikation bezeichnet. Sie beschreibt allerdings die Beschallung von Gewebe und nicht die Darstellung von Daten.

Sonifikationen ausprobieren

Sonifikationen können völlig unterschiedlich klingen und sind für jeden erdenklichen Zweck einsetzbar. Oft wird der Sound speziell für die einzelne Anwendung konzipiert. Mit vier Tools und etwas Neugier können Sie Sonifikation erleben und erlernen.

1. Tiltification: Die akustische Wasserwaage für Android und Wasserwaage für iOS ermöglicht es Ihnen, Ihren Tisch nach Gehör perfekt auszurichten. Das geht sogar schneller, als mit einer grafischen Lösung.
2. Highchart Sonification Studio: In diesem Online-Tool können Sie Datenreihen sonifizieren und visualisieren. Die Sonifikationsmethode ist schlicht, aber auch für ungeübte Hörer’innen intuitiv.
3. CURAT Sonification Game: Mit diesem Sonification Game für Android lernen Sie spielerisch, Sonifikation zu nutzen. Sie navigieren durch den Ein-, Zwei- und dann Drei-Dimensionalen Raum, indem Sie auf die verschiedenen Klangeigenschaften achten.
4. Breathscape: Diese Entspannungs-App für Android unterstützt Ihre Atemübungen. Leider läuft sie nur auf sehr leistungsfähigen Handys flüssig.

Sie werden feststellen, dass Sonifikationen umso schwieriger zu verstehen sind, je mehr Informationen Sie verklanglichen. Erst wenn Sie wissen, um welche Daten es sich handelt, und wenn Sie die Beziehung zwischen Daten und Klangeigenschaften erlernt haben, verstehen Sie sie. Dasselbe gilt auch für Visualisierungen. Ohne musiktheoretische Kenntnisse und eine Legende, die die Farben und Positionen der Linien erklärt, verstehen Sie die folgende Grafik sicher nicht:

Sonifikation und Visualisierung sind ohne Vorkenntnisse und Erfahrung kaum zu verstehen. Oder hätten Sie erkannt, dass hier Musik in E-Dur beschrieben wird? Grafik: Tim Ziemer

Obwohl Sonifikation keine Musik ist, braucht man das Wissen aus der Systematischen Musikwissenschaft, um Sonifikationen zu entwickeln, insbesondere Psychoakustik, Neurokognition und Audio-Signalverarbeitung. Wenn Sie bereits Erfahrung im Sound-Design haben, nehmen Sie am Sonic Tilt Wettbewerb teil und entwickeln Sie Ihre eigene Sonifikation.

Literatur zu Sonifikation

Das Sonification Handbook, herausgegeben von Thomas Hermann, Andy Hunt und John G. Neuhoff, gilt als Standardwerk der Sonifikation.

Im AES: Journal of the Audio Engineering Society, Special Issue on Sonification haben Tim Ziemer, Thomas Hermann, Kyla McMullen und Robert Höldrich eine Sammlung der neusten Forschung im Bereich der Sonifikation zusammengestellt.

Einen Überblick über Design and Perception of Sonification finden Sie im Special Issue des Journal on Multimodal User Interfaces, herausgegeben von Tim Ziemer, Sara Lenzi, Niklas Rönnberg, Thomas Hermann und Roberto Bresin.

Der Beitrag Sonifikation — Daten hörend verstehen erschien zuerst auf SystMus.

Tiltification und Sonic-Tilt

Tiltification ist eine Wasserwaagen-App für Android und für iOS. Legen Sie Ihr Handy auf eine Oberfläche. Die App teilt Ihnen mit, ob diese Oberfläche horizontal ausgerichtet ist. Falls nicht, teilt Sie ihnen auch mit, wie weit, und in welche Richtung Sie die Oberfläche neigen müssen, um sie perfekt auszurichten:

• Die Wasserwaagen-App nutzt eine visuelle Darstellung, um die beiden Neigungswinkel Ihren Handys anzuzeigen. Diese können Sie im Foto sehen.
• Darüber hinaus nutzt das Wasserwaagen-Tool Sound, um Ihnen die beiden Neigungswinkel mitzuteilen
• Dieser Sound wird als Sonifikation bezeichnet.
• Dank Sonifikation können Sie auch Gegenstände horizontal ausrichten, die sich nicht in Ihrem Blickfeld befinden. Das ist hilfreich für Modellbauer, oder im Labor.
• Dank des informativen Sounds können blinde und sehbehinderte Menschen die Wasserwaage nutzen.
• Da die Sonifikation für Navigation in chirurgischen Eingriffen entwickelt wurde, ist ihre Informationsdichte für eine Wasserwaage unnötig hoch. Und klingt leider auch unangenehmer, als es sein müsste.
• Darum können Sie in der Open-Source Software Sonic Tilt den Klang durch Ihr eigenes Sound-Design ersetzen.

Für den Sonic-Tilt Wettbewerb ersetzen Sie die Tiltification-Sonifikation durch ihren eigenen Sound. Foto: Varun Raval

Der Sonic-Tilt Wettbewerb

Der Sonic-Tilt Wettbewerb richtet sich an Studierende, Praktiker’innen und Audio-Enthusiasten:

1. Der Sonic-Tilt-Wettbewerb wird von der Universität Hamburg zusammen mit der International Community for Auditory Display ausgerichtet.
2. Sie laden Sonic-Tilt herunter und designen Sie Ihren eigenen Sound in Pure Data. Dazu folgen Sie der Sonic-Tilt-Anleitung. Programmierkenntnisse sind nicht erforderlich.
3. Der Sound soll als akustisches User-Interface dienen. Er soll Nutzer’innen der App ermöglichen, das Handy perfekt horizontal auszurichten. Ohne visuelle Hilfsmittel.
4. Die Herausforderung ist, dass es sich um eine Bullseye-Wasserwaage handelt: Ihr Sound muss helfen, beide Neigungswinkel perfekt auszurichten.
5. Reichen Sie die App mit ihrem eigenen Sound bis zum 12. Mai 2023 für den Sonic-Tilt-Wettbewerb ein.
6. Eine Experten-Jury, mit Mitgliedern von der Meiji Universiät Japan bis zu Microsoft, ermittelt das Sieger-Design. Dieses wird in einer neuen Tiltification-Version im Google-Play-Store angeboten.
7. Sie können Sonic-Tilt mit ihrem eigenen Sound-Design kompilieren, als App auf Ihrem Handy speichern, und sogar verkaufen.
8. Wenn Sie den Wettbewerb gewinnen, sind Ihnen Ehre und weltweite Anerkennung sicher.
9. Verlierer’innen gibt es nicht: Sie haben auf jeden Fall ihre Ur-eigene Handy-App.

Sonifikation ist ein heißes Thema in der systematischen Wissenschaft. Um Informationen möglichst effizient via Klang zu kommunizieren, bedarf es Kenntnisse aus den Bereichen Audioprogrammierung und Signalverarbeitung, Psychoakustik, Klangpsychologie und -kognition: alles Teilgebiete der Systematischen Musikwissenschaft.

Der Beitrag Sonic-Tilt Wettbewerb — Ihr Sound in der Wasserwaagen-App erschien zuerst auf SystMus.