Foto: kjpargeter

„Wir hören die ganze Sinfonie“

Den Klimawandel hören? Sonifikation macht es möglich. Laut Thomas Hermann eignet sich die Technik zur Kommunikation vielfältiger wissenschaftlicher Themen. Dennoch wird sie nur selten eingesetzt. Was uns daran hindert, das Potenzial zu nutzen, und wie Sonifikation in Zukunft den Rundfunk verändern könnte, verrät der Informatiker im Interview.

Herr Hermann, Sie beschäftigen sich schon seit einigen Jahren mit Sonifikation. Können Sie unseren Leser*innen erläutern, was sich hinter dem Begriff verbirgt? 

Jeder kennt die Einparkhilfe beim Auto: Je näher das Auto einem Gegenstand kommt, desto schneller piepst es, bis es ein durchgängiger Ton wird. Dabei wird eine gemessene Information, also der Abstand des Autos zum Gegenstand, durch eine Verklanglichung, die Pulsrate des Piepens, wiedergegeben.

Thomas Hermann ist Leiter der unabhängigen Forschungsgruppe für Umgebungsintelligenz am Center for Cognitive Interaction Technology (CITEC) an der Universität Bielefeld. Er ist unter anderem vom Vorstand ernanntes Mitglied der International Community for Auditory Display (ICAD) und hat zusammen mit Andy Hunt und John G. Neuhoff „The Sonification Handbook“ herausgegeben. Foto: Thomas Hermann

Dahinter steckt Sonifikation, das sind ganz allgemein Verfahren zur systematischen Verklanglichung von Daten. Sie ist das akustische Pendant zur Visualisierung. Das bedeutet, dass die Daten nicht etwa in Diagramme, sondern in Klänge und Geräusche umgeschrieben werden. So können wir über das Hören Muster und Strukturen in diesen Daten verstehen.

Das ist aber keine klangliche Spielerei, sondern folgt strikten Regeln. Der dahinter liegende Prozess ist fest in der Wissenschaft verankert und kann sowohl zum Erkenntnisgewinn als auch zur Darstellung von Informationen genutzt werden.

Welches Potenzial sehen Sie in der Sonifikation für die Wissenschaftskommunikation? 

Ich sehe ein vielfältiges und riesiges Potenzial! Vor allem, weil man unterschiedliche Zielgruppen erreichen kann. Das sind natürlich Menschen mit Sehschädigung oder Blinde, die über klassische Medien nicht erreicht werden. Aber auch im Rundfunk sehe ich ein großes Potenzial, weil es dort gar nicht möglich ist, Daten visuell zu vermitteln. Sie werden dort sehr umständlich mit Hilfe von Text beschrieben. Funktionen oder zeitliche Verläufe, wie Börsenkurse oder Temperaturen können durch Sonifikation klanglich dargestellt werden. Wenn Sie wissen, dass eine hohe Temperatur einem hohen Ton entspricht, haben Sie bei einer Tonfolge sofort ein intuitives Bild davon.

Auf diese Idee sind wir schon vor 15 Jahren gekommen: mit der „Wettervorhörsage“. Nach den Nachrichten hieß es beim Bielefelder Campusradio Hertz 87.9 ein halbes Jahr lang „Und nun das Wetter in Klängen!“.

Wie hört sich so eine „Wettervorhörsage“ an? 

Eine Wettervorhersage deckt vieles ab: Temperatur, Luftfeuchtigkeit, Niederschlagswahrscheinlichkeit, Windgeschwindigkeit und auch Windrichtung. Dann gibt es den Bewölkungsgrad und bestimmte Ereignisse wie Nebel, Gewitter, Hagel oder Sturm. Darüber hinaus vielleicht noch relevante Informationen für Allergiker*innen oder Einschätzungen, ob das Wetter besonders freundlich oder scheußlich ist. Mit der Sonifikation haben wir all das gleichzeitig dargestellt.

Darstellung der Informationen, die in der „Wettervorhörsage“ verklanglicht werden. Grafik: Thomas Hermann

In 12 Sekunden sind 24 Stunden komprimiert, also zwei Stunden pro Sekunde. Die Temperaturkurve ist eine Sequenz von Anschlägen auf ein Vibrafon. Mit kleinen „emotional markers“ wie beispielsweise Vogelgezwitscher haben wir Situationen wie „perfektes Spaziergeh-Wetter“ dargestellt. Die erklingen, wenn die Wetterkonstellationen einem bestimmten, vorher eingestellten Prototypen sehr nahe kommen. In diesem Fall: trocken, wenig Wind, nicht zu heiß und so weiter. Es ist wichtig, dass die Klänge systematisch dann eingesetzt werden, wenn ein bestimmter Grenzwert überschritten wird. Dabei ist es auch wichtig, dass die Klänge intuitiv verstanden werden können: Plätschern ist zum Beispiel ein Anzeichen für Niederschlag.


Klangbeispiele für die „Wettervorhörsage“

Sturm im Sommer:

trockener Winter:

Frühlingstag:

Schneesturm:


Wie wurde die Sonifikation von den Hörer*innen aufgenommen?

Das Projekt wurde vom Campusradio mit Umfragen begleitet. Während zu Beginn kaum jemand auf dem Campus wusste, was Sonifikation ist, verbanden damit nach zwei Monaten schon viele die Klänge von Wetter. Die Hörer*innen haben auch zurückgemeldet, dass die „Wettervorhörsage“ besser in Erinnerung blieb. Wenn man Regen hört, überlegt man sofort, ob man vielleicht einen Regenschirm mitnehmen muss. Die Klänge der Sonifikation vermitteln die emotionale Qualität mehr als Sprache.

Im Data Sonification Archive findet man viele Beispiele, in denen Sonifikation zur Kommunikation genutzt wurde. Neben Beiträgen zum Klimawandel oder zur Pandemie findet man dort vor allem Beispiele aus der Astronomie. Woran liegt das? 

Eine der Gründer*innen des Archivs forscht zu Astronomie und beeinflusst das natürlich. Aber auch die NASA nutzt Sonifikation schon sehr lange als eine Möglichkeit, Public Awareness zu erzeugen. Earcatcher wie „Jetzt können wir das Universum hören“, wecken das Interesse des Publikums. Das machen sie wirklich gut. Daten aus der Astronomie sind aber grundsätzlich nicht besser geeignet als solche aus anderen wissenschaftlichen Bereichen.

Die Sonifikation lässt viel Spielraum für die eigene Kreativität in der Auswahl der Instrumente, der Lautstärke oder des Klanggefühls. Kann es dazu kommen, dass die Datendarstellung ihre Objektivität verliert und vielleicht sogar emotional oder manipulativ wird?

„Die Klänge der Sonifikation vermitteln die emotionale Qualität mehr als Sprache.“ Thomas Hermann
Das wird der Sonifikation öfter vorgeworfen. Es stimmt auch mit unseren kulturellen Bildern überein: Aussagen wie „Das glaube ich erst, wenn ich es sehe“ oder „Das kenne ich nur vom Hörensagen“ zeigen, dass wir Hören als weniger glaubwürdig, gesichert und objektiv ansehen. Das liegt daran, dass ein Klang flüchtig ist. Sobald er verklungen ist, ist er weg. Durch unsere Techniken haben wir jetzt zwar die Möglichkeit, ihn zu reproduzieren und wissenschaftlich zu nutzen. Dieses Bewusstsein ist aber noch nicht in unserer Gesellschaft angekommen.

Möglicherweise löst das Hören mehr Emotionen in uns aus als das Sehen. Somit kann man Sonifikation unter Umständen besser zur Manipulation nutzen als graphische Darstellungen. Das heißt aber nicht, dass visuelle Darstellungen nicht emotional oder manipulativ sein können. So können beispielsweise grafisch sehr kleine Veränderungen durch eine manipulative Skalierung riesig erscheinen. Die richtige Einordnung entsteht in beiden Fällen erst durch die richtige Medienkompetenz.

Obwohl die Technik schon seit den 1980er Jahren existiert, sind Sonifikationen noch immer eine Nische. Was hindert Wissenschaftler*innen daran, ihre Daten zu sonifizieren? 

Die Darstellung muss zu den Daten passen. Anders als im Graphischen hat man beim Auditiven nur die Zeit als Achse. Zeitaufgelöste Daten sind also gut darstellbar, komplexe Cluster sind schwieriger.
Außerdem sind die Techniken zur Sonifikation noch nicht sofort einsetzbar. Um einen Graphen zu erstellen, kann ich meine Daten einfach in eine Software laden und der Rest passiert automatisch. Bei der Sonifikation ist all das Handarbeit. Das Design, also die Entscheidung, welche Parameter wie dargestellt werden, ist eine der größten Herausforderungen. Oft muss man sich dabei auch für einen Kompromiss zwischen Ästhetik und Präzision entscheiden. Das macht die Hürde viel höher. Ich arbeite gerade mit einem Doktoranden daran, einen Werkzeugkasten zu bauen, um den Prozess zu vereinfachen. Damit können Wissenschaftler*innen hoffentlich bald leichter akustische Hörbilder generieren und diese in der eigenen Kommunikation verwenden.

Wie stellen Sie sich die Zukunft der Sonifikation vor? 

„Im Radio hoffe ich, dass die Sonifikation neben Sprache und Musik ein drittes Standbein wird“ Thomas Hermann
Ich sehe ein großes Potenzial in der Medizin. Dort ist man sehr offen für Techniken, die auf dem Hören basieren. Das Hören, wie etwa das Abhören mit einem Stethoskop, ist schon sehr früh Bestandteil der medizinischen Ausbildung und es gibt bereits viele auditive Techniken. In diesem Bereich forsche ich auch selbst. Ich denke, dass Sonifikation Mediziner*innen entlasten kann, wenn differenzierte Informationen angenehm präsentiert werden.
Im Radio hoffe ich, dass die Sonifikation neben Sprache und Musik ein drittes Standbein wird – nicht nur mit Darstellungen wie der „Wettervorhörsage“.  Mit dem „Tweetscapes“-Projekt haben wir die Kommunikation auf Twitter in Echtzeit dargestellt. Das könnte man auch im Rundfunk verwenden, um eine ganz neue Form der Interaktion mit den Hörer*innen zu ermöglichen. Deren Meinungsbild könnte beispielsweise über verwendete Hashtags in Echtzeit erfasst und so ganz interaktiv und transparent dargestellt werden.

Außerdem kann die Sonifikation Prozesse wieder präsenter machen. Im Energiesektor könnte man Stromverbrauch erkennbar und erfahrbar machen. Es wäre großartig, wenn die Sonifikation dabei helfen könnte, die so zwingend notwendige Transformation unserer Gesellschaften in Richtung Ressourcensensibilität zu bewältigen.

Wie könnte die Sonifikation unsere Gesellschaft Ihrer Meinung nach beeinflussen? 

Ich frage mich manchmal, wo wir mit unseren Konzepten von Wissenschaft, Mathematik und Technik wären, wenn sich Wissenschaft nicht an Geometrie und visuellen Konzepten ausgerichtet hätte, sondern an klanglichen. Unser Sehsinn endet immer an der Oberfläche. Wir können nicht durch Dinge hindurchsehen. Da ist unser Ohr ganz anders. Wir hören holistisch. Wenn wir in ein Konzert gehen, sind wir nicht gezwungen, die Instrumente nacheinander zu hören, sondern wir hören die ganze Sinfonie. Und dieses Vereinen vieler Teilströme wäre meiner Ansicht nach eine Qualität, die wir auch kulturell anwenden können. Ich hoffe, dass uns Sonifikation als Technik einen besseren Zugang auf den Zusammenhang der Dinge geben kann. Den verliert man sprichwörtlich oft aus den Augen, wenn man sich sehr analytisch auf kleine Ausschnitte fokussiert.