In diesem Beitrag geht um das rätselhafte Verhältnis zwischen Klang und Information. Rätselhaft deshalb, weil zwischen der meist konkreten und persistenten „Information“ und dem meist unkonkreten, transitorischen „Klang“ kaum Verbindungen möglich erscheinen. Wir kennen ein Verhältnis zwischen beiden aus der Beziehung zwischen erklingender Musik und lesbarer Notenschrift. Auch wenn man kaum davon sprechen kann, dass beide eindeutig voneinander ableitbar wären, stehen sie in einem nachvollziehbaren Verhältnis. Dieses ist durch Regeln bestimmt, die durch die Musiklehre festgelegt ist: Zum Beispiel wissen wir dank einer allgemeinen Konvention, dass der Ton „d“ im Violinschlüssel auf der zweiten Linie von oben notiert wird, der Ton „h“ hingegen auf der dritten; ebenso gibt es Übertragungskonventionen für Zeitmaße, für Lautstärke, für klangliche Parameter und vieles andere. Trotz vieler Unschärfen bei der Übertragung gelingt es in der Regel, von einer Notation ein wiedererkennbares musikalisches Abbild zu erzeugen, während abweichende Wiedergaben unterschiedlichen Interpretationen zuzuschreiben sind. In diesem Beispiel werden also Regeln angewendet, um aus Informationen Klänge zu erzeugen. Wir sind gewohnt, dies als „Kunst“ oder „Unterhaltung“ zu betrachten und schreiben diesem Phänomen, dem wir den Namen Musik geben, eine enorme gesellschaftliche Bedeutung zu.
Visualisierung en von Informationen sind derzeit en vogue. Dabei erscheinen Visualisierungen, die sich am Konkreten orientieren – etwa Statistiken, Landkarten, Zeitleisten – fast schon überholt. Es gilt, neue Regeln der Informationsabbildung zu entdecken, die alternative Lesarten erlauben und über die konventionellen Übertragungen auf die typischen Kategorien Globus, Kalender und Diagramm hinausgehen. Von besonderem Interesse sind dabei Beziehungsgeflechte und multidimensionale Darstellungen, um damit nicht-metrische Parameter abbilden zu können. Die aus dem kreativen Umgang mit Daten entstehenden Abbildungen sind vielfältig und die Regeln ihrer Generierung im Grunde nur durch Vorstellungskraft begrenzt; zum Teil erwachsen daraus Grafiken von fast künstlerischer Qualität. Der Erkenntniswert dieser Abbildungen ist vielerorts noch auszuloten, das „Lesen“ in solchen Grafiken noch nicht kultiviert, aber zweifellos besteht ein großes Interesse daran, alternative Erkenntnismethoden zu erfinden und zu entdecken.
Die Wahrnehmung wird allgemein durch den Sehsinn dominiert, während andere Sinne stark zurückgedrängt sind oder auf bestimmte Vorgänge limitiert sind. Als wahr gilt, was man mit eigenen Augen gesehen hat. Der Hörsinn hingegen dient zwar dem Verstehen des gesprochenen Wortes und wird für den Genuss vielschichtig arrangierter Musik eingesetzt, scheint aber für Erkenntnisvorgänge prinzipiell nicht infrage zu kommen, da er emotional konnotiert ist und somit als völlig subjektiv ausscheidet. Ein analytisches Hören ist zwar erlernbar, jedoch stellt es sich gegen Konventionen oder ist Musikern vorbehalten. Zudem gilt die Auffassung, dass Hörbares ohnehin besser visualisiert wird. Jedoch ist das menschliche Gehör dem Sehsinn in einigen Punkten voraus: Es unterscheidet nicht nur Tonhöhen, sondern auch Lautstärken, Tempo, Klangqualität etc., und ist dadurch in der Lage, eine Vielzahl an Parametern gleichzeitig darzustellen; die plötzliche Veränderung eines Parameters kann dabei eine starke Signalwirkung hervorrufen. Außerdem ist das Gehör ein extrem granularer Sinn: Es nimmt z. B. äußerst geringe zeitliche Abstände wahr, die mit dem Auge nicht mehr nachvollziehbar sind (Hintergrund ist ein chemischer Prozess).
Wäre es denkbar, das Prinzip der Visualisierung – d. h. aus Information werden erfahrbare Bilder – auf die Welt des Klanges zu übertragen, um die Möglichkeiten des Hörsinns für die Datenexploration auszuschöpfen? Das hieße: aus Informationen werden erfahrbare Klänge. „Ausgangspunkt dafür [für Sonifikation] ist die Tatsache, dass der Hörsinn in vielen Fällen ein hohes Potenzial besitzt, zum Sehsinn komplementäre Informationen auf einfache Weise zu vermitteln.“ (Grond / Schubert-Minski 2009).
Einfache Übertragungen von Information in Klang sind z. B. aus dem Morsecode oder vom Geigerzähler bekannt; gut in Erinnerung dürfte außerdem das akustische Einwahlsignal eines Modems sein. Diese Klänge gehorchen keiner Ästhetik, jedoch müssen sie das auch nicht (um einen Satz von John Cage anzuwenden: „You don’t have to call it music, if the term shocks you“). Klang und Informationen verhielten sich dann ähnlich, nur abstrakter, wie Musik und Notation; Klang wäre dann eine mögliche Darstellungsform von Information, nach vorher bestimmten Regeln interpretiert.
Die Idee der Sonifikation wird innerhalb des Technologiezweiges „Auditory Display“ ungefähr seit den 1990ern als Methode verfolgt (vgl. Flowers 2005). Eine von der International Community for Auditory Display (ICAD) herausgegebene Definition der Sonifikation lautet: „Sonification [is the] use of nonspeech audio to convey information; more specifically sonification is the transformation of data relations into perceived relations in an acoustic signal for the purposes of facilitating communication or interpretation.“ (Schoon / Volmer 2012)
Sonifikation hat inzwischen das experimentelle Stadium verlassen und wird erfolgreich eingesetzt, um komplexe Daten (Stichwort Big Data) effektiver auswerten zu können (vgl. Kramer et al. 2010) . Dabei ist es auffällig, dass die Nutzung in den Naturwissenschaften und in der Medizin bereits fortgeschritten ist, in den Digital Humanities hingegen kaum repräsentiert ist, obwohl die Methode grundsätzlich naheliegend wäre. Die bisher genutzten Verfahren (Audifikation, Auditory Graphing u. a.) werden zu sehr unterschiedlichen Zwecken eingesetzt (Schoon / Volmer 2012: 12); in der Regel werden die Sonifikationen automatisch erzeugt, für mediale Zwecke werden sie manchmal aber auch live produziert.
Eine „Einstiegsmethode“ ist dabei das Pitch Coding, bei dem Tonhöhen und Codepoints einander zugeordnet werden. Dieses sehr einfache Verfahren lehnt sich an die Logik der Notation an: hohe Werte werden als hohe Töne übertragen, niedrige Werte als tiefe Töne. Als anschauliches (aber spielerisches) Beispiel ist die Higgs Boson Sonification (Rao 2015) zu nennen, bei der physikalische Messwerte in Tonwerte übertragen werden. Mehrdimensionales Pitch Coding, bei dem parallele Prozesse modelliert werden, wurde in What climate change sounds like from the Amazon to the Arctic (Reubold 2015) umgesetzt. Die Live-Umsetzung ist in diesen Fällen lediglich als Kür anzusehen; den Live-Sonifikationen geht ansonsten üblicherweise die rechnergestützte Modellierung voraus. Eine schnelle rechnergestützte Umsetzung erlaubt z. B. das frei verfügbare Tool Sonification Sandbox (Walker 2009), welches das Experimentieren mit mehreren klanglichen Dimensionen anhand einer Wertetabelle erlaubt und sowohl über Kommandozeile als auch GUI steuerbar ist.
Über diese grundlegenden Verfahren hinaus gehen Verfahren, die mit Nutzerinteraktivität arbeiten und neben einer visuellen Darstellung auch akustische Rückmeldungen geben; dabei kann auch Sprache zum Einsatz kommen. Diese Anwendungen zielen vor allem darauf, Personen mit eingeschränkter Sehfähigkeit einen verbesserten Zugang zu Datenabbildungen zu ermöglichen, allerdings sind die Verfahren auch für uneingeschränkt sehfähige Nutzer von grundsätzlichem Interesse. Beispielsweise werden in der Sonification for Blind Users (Zhao et al. 2005) Stereo-Effekte für die Umsetzung der geographischen Dimension genutzt. Von höchster Komplexität sind schließlich Soundalgorithmen, die entsprechend der Datenveränderung Tempo und Harmonie nach bestimmten Mustern verändern (Morreale et al. 2013).
Sonifikation führte tatsächlich bereits zu einigen wissenschaftlichen Erfolgen, etwa bei der Analyse von Sonnenstürmen (Alexander 2012), wobei insbesondere die akustische Darstellbarkeit der Granularität der Messdaten bei der Analyse ausschlaggebend waren.
Das Verfahren der Sonifikation bietet für die Digital Humanities eine Alternative zur Visualisierung, insbesondere im Hinblick auf die Abbildung zeitlicher, räumlicher und paralleler Prozesse. Die Möglichkeiten der Sonifikation wurden bislang nicht in dem gleichen Maße erschlossen und ausgeschöpft, wie es für Visualisierung bereits im Gange ist. Daher besteht das dringende Desiderat, Sonifikation als in den Naturwissenschaften bereits etabliertes Verfahren endlich auch in den Digital Humanities zu erproben und ihr Potenzial zu entdecken. Der Vortrag gibt einen Überblick über die Methoden und erörtert Anwendungsmöglichkeiten an verschiedenen Beispielen.