RUDOLF INDERST spricht mit Christopher Wulf über sein im Fachverlag Werner Hülsbusch erscheinendes Buch Ludoaudiovisuelle Harmonie. Gemeinsam tauchen sie in ihrem Gespräch in die Welt der Musik im Gamedesign ein und diskutieren, wie Klänge, Bilder und Gameplay verschmelzen, um Immersion und Emotion zu schaffen.
Rudolf Thomas Inderst: Guten Tag, danke, dass Sie sich die Zeit für unsere Unterhaltung nehmen. Bitte stellen Sie sich doch unseren Leser:innen vor und nehmen Sie uns ein wenig in Ihren Alltag mit. Wie kann man diesen vorstellen?
Christopher Wulf: Also die Kurzversion ist, dass ich ein seit seiner Kindheit spieleverrückter Nerd bin, der es nun dank der Medienwissenschaft hoffentlich doch noch schafft, sein Hobby zum Beruf zu machen.
Aktuell arbeite ich noch als wissenschaftliche Hilfskraft an der Universität Paderborn und produziere dort Podcasts, in denen es um die Ergebnisse einer medienpädagogischen Studie über digitale Kommunikation an Schulen geht. Bald kann ich dann hoffentlich voll mit meinem Promotionsvorhaben beginnen, bei dem ich ein Game Studies Bildungsprojekt entwickeln und dazu eine medienpädagogische Studie durchführen werde.
Wie tragen ludoaudiovisuelle Harmonien konkret zur Immersion und zum Gefühl der Gegenwärtigkeit bei, und welche Rolle spielen dabei die spezifischen Eigenschaften von digitalen Spielen im Vergleich zu anderen audiovisuellen Medien?
Zunächst sollte ich wohl erst einmal das Prinzip der ludoaudiovisuellen Harmonie erläutern. Im Grunde ist es ganz einfach: Wenn in einem Spiel die Musik direkte Verbindungen zu anderen Aspekten des Spiels aufweist, dann kann man von einer ludoaudiovisuellen Harmonie sprechen. Diese können ganz unterschiedlich hervortreten, sowohl in Quantität als auch Qualität. Sie setzen sich aus dem gleichzeitigen Vorkommen von Elementen in der Musik und Elementen anderer Modalitäten oder der Struktur von Spielen zusammen. Aufseiten der Musik kann dies jeder einzelne Ton sein oder auch kurze Motive. Aufseiten des Spiels können dies visuelle Effekte sein, Töne, Vibrationsfeedback oder Handlungen des Avatars oder anderer Figuren.
Wenn die Goombas oder Koopas in New Super Mario Bros. synchron zum Gesang in der Musik springen oder stehen bleiben, um eine Tanzbewegung zu machen, dann liegt eine ludoaudiovisuelle Harmonie vor. Die Gegner im Spiel werden direkt von der Musik beeinflusst. Anstatt dass die Musik einfach so im Hintergrund vor sich her trällert, wird sie zu einer aktiven Komponente des dem Spiel zugrundeliegenden Regelsystems und ich muss sie beim Spielen aktiv wahrnehmen und die Verbindungen zum Spiel erkennen, um erfolgreich zu sein. Wenn ich die eben beschriebene ludoaudivosuelle Harmonie in ›New Super Mario Bros.‹ verstanden habe, kann ich die Bewegungsänderungen der Gegner anhand der Muster in der Musik erkennen und antizipieren.
In nicht-interaktiven audiovisuellen Medien gibt es auch solche Synchronisationspunkte von Bild und Musik beispielsweise, wenn ein Schnitt im Bild zeitgleich zu einem Perkussionston geschieht oder wenn die Bewegung einer Figur oder der Kamera durch einen langgezogenen Ton in der Musik synchron begleitet wird; so etwas bezeichne ich als audiovisuelle Harmonie. In Filmen, TV und auch Musikvideos spielen solche audiovisuelle Harmonien schon eine wichtige Rolle. Sie können zusätzliche Bedeutung generieren, zur Ästhetik beitragen und erheblich die Rezeption beeinflussen. In dem interaktiven Medium des Digitalspiels jedoch ist es weitaus komplizierter solche Harmonien zu erschaffen, da es ja nicht den einen abgeschlossenen Schnitt eines Spiels gibt. In Spielen werden sowohl Bild als auch Tonausgabe von meinen Eingaben als Spieler beeinflusst. Im Grunde hat ja quasi jede Aktion eine Veränderung in Bild und Tonausgabe zur Folge. Diese gewissermaßen dauerhafte Verbindung von Bild, Ton und Spielereingaben ist auch nötig, damit man sich als Spieler überhaupt zurechtfinden und Leistungen vollbringen kann. Eine De-Synchronisation von Bild, Ton und Spielereingaben gibt es eigentlich nur bei Fehlern wie Bugs oder Glitches und kann zu erheblicher Irritation führen. Durch die Interaktion liegt also ein viel stärker ausgeprägtes Gefühl der Gegenwärtigkeit vor. Ich lasse meinen Avatar springen und das Spiel gibt mir sofort audiovisuelles und manchmal auch haptisches Feedback dazu. Wenn die Musik nun Teil dieser echtzeitlichen Verbindung wird, dann trägt eine weitere Ebene zum Gefühl der Gegenwärtigkeit bei. So werden beispielsweise viele Spieleraktionen in Hi-Fi RUSH direkt mit musikalischen Tonfolgen verbunden und der Spieler soll sich stark am Rhythmus der Musik orientieren. Musik kann hier wie ein Katalysator für das Gegenwärtigkeitsgefühl wirken, denn generell ist Musik ja ein sehr zeitkritisches Medium, das aufhört zu existieren, wenn ich es pausiere. Wenn ich Musik höre, fühle ich die Zeit und mich selbst als Teil dieser fließenden Zeit. In Spielen mit vielen ausgeprägten ludoaudiovisuellen Harmonien trägt die Musik erheblich zum Gefühl der Gegenwärtigkeit des Spielers bei, da immer wieder direkte Verbindungen der Musik zum Spielgeschehen vorkommen.
Durch diese echtzeitlichen Verbindungen der Musik zu anderen Aspekten von Spielen entsteht auch eine tiefere Immersion. Musik ist nicht mehr länger eine meist von der Spielwelt getrennte Instanz, sondern wird durch ludoaudiovisuelle Harmonien Teil der virtuellen Welt. Die Geschehnisse in der Spielwelt können so auch in der Musik widergespiegelt werden, wodurch ich als Spieler auch auf musikalischer Ebene in die virtuelle Welt eintauchen kann bzw. in diese Welt regelrecht hineingezogen werde. Ein älteres Beispiel wäre die Musik in ›The Legend of Zelda: Ocarina of Time‹, bei dem synchron zum Erscheinen von Gegnern eine spezielle Kampfmusik ertönt. Oft hört man die Gegner bzw. ihr Erscheinen so schon, bevor man sie sieht. Die Musik ist also die erste Modalität, die auf ein bestimmtes Ereignis im Spiel hinweist, auf das ich als Spieler ja auch möglichst schnell reagieren muss.
Inwiefern beeinflusst die Integration von Musik in die Spielstruktur die Spielerfahrung, und welche Beispiele zeigen besonders eindrucksvoll, wie diese Verbindung das Gameplay aufwertet?
Von den sechs von mir untersuchten Spielen weisen alle zahlreiche qualitativ hochwertige ludoaudiovisuelle Harmonien vor, die Spielern besondere Erfahrungen bieten. Im Twin-Stick-Shooter ›Beat Hazard 2‹ kann ich als Spieler selbst die Musik auswählen, die dann per Algorithmus ausgewertet wird und bestimmte Aspekte wie die Waffenstärke meines Raumschiffs oder die Geschwindigkeit der Gegner bestimmt. Daraus ergibt sich ein einmaliges Spielerlebnis, bei dem ich synchron zu Intensitätsveränderungen der Musik Bewegen, Ausweichen und Schießen muss, was ich als »ludischen Tanz« beschrieben habe. Auch in ›Audiosurf 2‹ wird die vom Spieler ausgewählte Musik algorithmisch ausgewertet und daraus ein einzigartiges Level mit Höhen und Tiefen sowie unterschiedlichen Geschwindigkeiten errichtet, das ich dann abfahre. Der Name ist hier wirklich Programm, denn so ergibt sich eine Art »ludisches Surfen«. Beide Spiele sind vor allem deswegen so unterhaltsam, da man seine Lieblingsmusik nun wortwörtlich spielen kann; nicht im Sinne eines Instrumentes, sondern eben als Digitalspiel.
›Metal: Hellsinger‹ und ›Hi-Fi RUSH‹ hingegen fusionieren das Rhythmusspielgenre mit dazu eigentlich völlig unpassenden Genres: dem First-Person Shooter und dem Hack and Slash. Die schnelle und rhythmisch treibende Metal- bzw. Rockmusik gibt hier den Takt für die Spielerhandlungen vor. Wenn ich auch nur im Entferntesten etwas mit solcher Musik anfangen kann, dann ist es schon extrem unterhaltsam, synchron zum Rhythmus Dämonen in der Hölle zu erschießen oder Horden von Robotern mit einer aus Müll zusammengesetzten Gitarre zu verprügeln. In ›Metal: Hellsinger‹ wirkt sich meine Performanz zudem auf die Musik aus, denn je besser ich spiele, desto mehr Ebenen der Musik werden dazugeschaltet, bis auf der höchsten Ebene auch Gesang zu hören ist. Das ist eine Powerfantasy, wie ich sie zuvor in noch keinem anderen Shooter erlebt habe, selbst beim grandiosen ›Doom‹-Reboot nicht, das ja auch auf Metalmusik setzt, aber eben keine echtzeitlichen Verbindungen der Musik mit der Spielstruktur bietet.
Am erstaunlichsten jedoch sind die beiden Spiele von Designer Tetsuya Mizuguchi. Der On-Rail-Shooter Rez war damals auf dem Sega Dreamcast ein Spiel, das ganz neue Maßstäbe bezüglich der Verbindung von Musik und Spiel gesetzt hat. Zum einen gibt es eine loopende und sich parallel zum Fortschritt in den Leveln steigende lineare Hintergrundmusik, dessen Rhythmus Vibrationseffekte hervorruft. Zum anderen gibt es auch eine generative Musikebene, bei der Spielerhandlungen musikalische Töne und Tonfolgen hervorbringen. Der Spieler wird so quasi zum Musiker und erschafft seinen ganz individuellen Electro-Soundtrack, der für jede Spielsitzung einzigartig ist. Dazu gibt es zahlreiche visuelle Effekte synchron zu beiden Musikebenen, mit denen Mizuguchi Synästhesie simulieren wollte, das bedeutet Farben und Formen als Töne bzw. Musik zu hören, was tatsächlich ein bei manchen Menschen vorkommendes Phänomen ist. Mizuguchi wollte mit dem Spiel seine Erfahrungen in europäischen Technoclubs verarbeiten und ich würde behaupten, dass ihm dies sehr gut gelungen ist. Sein Magnum Opus ist meines Erachtens aber ›Tetris Effect‹, das nach dem gleichen Prinzip funktioniert und dieses perfektioniert hat.
Die Anzahl der ludoaudiovisuellen Harmonien ist noch höher als in ›Rez‹ und die generative Musikebene so komplex, dass man es fast schon als eine Art Instrument ansehen kann. Jede Spielerhandlung bringt unterschiedliche und zum jeweiligen Level thematisch passende Töne hervor, die durch leichte bis starke visuelle und haptische Effekte begleitet werden. Je nachdem wie weit ich im Level fortgeschritten bin, ändern sich die Töne und visuelle Effekte auch noch, sowohl auf generativer wie linearer Musikebene. Heraus kommt ein multimodales Spielerlebnis, das fast alle Sinne anspricht und mitunter auch überwältigend sein kann. Das süchtig machende Puzzleprinzip der ›Tetris‹-Reihe rückt hier, wer hätte das jemals für möglich gehalten, tatsächlich nach und nach in den Hintergrund. Es ist eine beeindruckende Simulation von Synästhesie geworden, die man nicht wirklich mit Worten beschreiben kann; man muss es wirklich mal gespielt, gesehen, gehört und gefühlt haben.
Welche methodologischen Herausforderungen ergeben sich bei der Analyse und Beschreibung von ludoaudiovisuellen Harmonien, und wie können Ansätze aus der Filmwissenschaft auf das Medium Digitalspiel erweitert werden?
Generell gibt es ja viele Theorien der Digitalspielforschung, die von filmwissenschaftlichen Theorien abgeleitet wurden oder zumindest von dort ausgehen. Das kann durchaus sinnvoll sein und funktionieren, sofern man immer auch die Unterschiede beider Medien berücksichtigt. Der Film war seit jeher ein Vorbild für Spiele – und lange Zeit war es ja das ausgegebene Ziel in der Spielentwicklung, Spiele möglichst filmisch zu gestalten. Also vor allem wenn es um die Rezeption geht, können filmwissenschaftliche Ansätze als Ausgangspunkt dienen. In meiner Arbeit beziehe ich mich bei der Herleitung des Prinzips der (ludo-)audiovisuellen Harmonie zum einen auf Michel Chion, der als einer der ersten Filmwissenschaftler die Symbiose von Bild und Ton hervorgehoben hat, und zwar nicht nur für die Rezeption beider Ebenen, sondern auch für ihre Analyse. Etwas überspitzt gesagt meint Chion, dass Bild und Ton nicht getrennt voneinander untersucht werden sollten, da sie zusammen Bedeutung generieren. Seine Begriffe des »added value und synthesis« sind quasi die direkten Vorfahren des Prinzips der audiovisuellen Harmonie und beschreiben im Kern schon dessen Eigenschaften, nämlich Symbiose von Bild und Ton in bestimmten Momenten und ihre Bedeutung für die Filmrezeption. Zum anderen habe ich mich an dem Prinzip des audiovisuellen Rhythmus von Jan-Hendrik Bakels orientiert, der in mit Musik unterlegten Filmszenen einen Rhythmus erkannt hat. Lustigerweise waren beide auch schon sehr nah an dem Prinzip der audiovisuellen Harmonie, den ich in meiner Arbeit ja zunächst aufgestellt habe. Bei der Lektüre dachte ich mir immer wieder »Ja komm, jetzt sagt es halt auch: Musik und Bild synchronisieren sich in bestimmten Momenten, bilden eine Harmonie und erweitern so die Harmonie der Musik auf das Bild!«. Aber diesen Punkt haben beide außen vor gelassen.
Aber zurück zu Ihrer Frage: Eine Schwierigkeit in Spielen ludoaudiovisuelle Harmonien zu finden und nachzuweisen, besteht in der Vielfalt, wie diese Harmonien ausfallen können. Die offensichtlichste Variante ist die Harmonie zwischen einem Ton oder Motiv in der Musik und einem deutlichen visuellen Ereignis oder Effekt, also zum Beispiel, wenn synchron zum Höhepunkt der Musik eine Explosion zu sehen ist. Da muss man dann aber natürlich noch nachweisen, ob diese Harmonie gewollt, also Teil des Regelsystems des Spiels ist, oder zufällig entstand, was tatsächlich auch in vielen Spielen mal vorkommen kann. Die für mich hilfreichsten methodologischen Ansätze waren ludologische Ziele (Debus; Zagal, Cardona-Rivera) und Gameplay-Segmentierung (Zagal; Fernández-Vara; Mateas) in Verbindung mit dem Gameplaybegriff verstanden als Affordanzen (Lineroth). Affordanzen sind vereinfacht gesagt die vom Spiel bereitgestellten Handlungsmöglichkeiten sowohl für den Spieler als auch für nicht-spielbare Charaktere. Oft ergeben sich ludoaudiovisuelle Harmonien aus einer Kombination von Tönen und visuellen Effekten, die synchron zu bestimmten Handlungen in der Spielwelt ausgelöst werden. Andersherum kann ein Spiel durch die Vorgabe bestimmter Ziele den Spieler beispielsweise dazu bewegen Handlungen wie Attacken möglichst synchron zum Rhythmus auszuführen, um so mehr Schaden bei Gegnern zu verursachen. Die Segmentierung von Gameplay, also zum Beispiel eine Unterteilung in Level oder zeitliche Aspekte, hilft vor allem dabei, die Grundstruktur eines Spiels zu erkennen, um erste Verbindungen der Musik mit anderen Spielaspekten zu erschließen. Oft sind bestimmte Lieder an Level gekoppelt oder zeitlich limitierte Spielabschnitte durch eine Veränderung der Musik markiert.
Die größte Schwierigkeit in Spielen ludoaudiovisuelle Harmonien zu finden und nachzuweisen, besteht allerdings in der Reizüberflutung beim Spielen. Wir sind beim Spielen nicht nur Bild, Ton und Vibration ausgesetzt, sondern analysieren durchgehend das Spielgeschehen und müssen selber agieren. Glücklicherweise bieten Spiele seit circa Anfang der 1990er Jahre viele Einstellungsmöglichkeiten. So ist es sehr hilfreich, ein Spiel auch einmal ohne Soundeffekte und ein anderes Mal ohne Musik zu spielen. Dazu muss man sich gezielt Spielsequenzen suchen, in denen man als Spieler freier ist und ausprobieren kann. Außerdem kann man Spielsequenzen auch aufzeichnen, und dann als Video analysieren oder die Tonausgabe des Spiels über Audioaufzeichnungsprogramme visualisieren, um nachzuweisen, dass sich die Musik parallel zum Spielverlauf in der Intensität ändert. Man muss etwas erfinderisch sein und mehr oder weniger seine eigene Methodik entwickeln. Da gibt es in der Digitalspielforschung meines Wissens nach fast keine vorgegebenen Mittel und Wege, was – wie ich finde – aber auch den Reiz dieses Fachgebietes ausmacht.
Zuletzt soll es noch etwas genereller um die Digitalspielforschung in Deutschland gehen – wie steht es um diese eigentlich aus Ihrer Perspektive?
Als jemand, der gerade erst am Anfang seiner akademischen Karriere in genau diesem Bereich steht, ist es sicherlich schwierig, auf diese Frage zu antworten. Schließlich habe ich erst vor wenige Monaten mein Masterstudium abgeschlossen. Außerdem lese ich auch sehr viel englischsprachige Literatur. Ich denke, erst einmal kann man schon feststellen, dass die Spielforschung in Deutschland noch ordentlich Luft nach oben hat und das sage ich voller Hoffnung. Da scheint es mir doch Parallelen zur deutschen Spieleentwicklung zu geben, die leider vom Bund und den Ländern immer noch nicht ausreichend gefördert wird. In meinem medienwissenschaftlichen Studium hatte ich zwar auch immer wieder Dozenten, die fantastische Game-Studies-Seminare angeboten haben, allerdings gab es auch oft Dozenten, die sehr vorsichtig reagiert haben, wenn ich in anderen Seminaren eine Hausarbeit über Computerspiele schreiben wollte. Man merkt schon, dass dieses Medium noch nicht die Allgegenwärtigkeit und allgemeine Akzeptanz entwickelt hat wie Film oder TV. Ich denke dann oft, es ist vielleicht einfach noch ein Generationenproblem, aber dann frage ich mich, warum Soziale Medien bei einigen älteren Dozenten so eine große Begeisterung auslösen können, oftmals mehr als bei den jungen Studenten. Unabhängig vom Alter gibt es, denke ich, schon einige Menschen, die mit dem Computerspielmedium als aktive Spieler nicht viel in Berührung gekommen sind. Es ist nun einmal ja auch mitunter eine anstrengende Art der Rezeption und viele moderne Spiele sind enorm komplex. Das wirkt nicht besonders einladend und die Zeiten von ›Wii Sports‹ oder Kinect sind ja auch wieder vorbei.
Doch zurück zur Digitalspielforschung, um Ihre Frage dann hoffentlich doch noch halbwegs zu beantworten. Ich würde mir wünschen, dass die Forschung wieder mehr das Medium an sich in den Blick nimmt und gewissermaßen »back to the basics« geht; also konkret wirklich die Struktur und innere Logik von Spielen stärker berücksichtigt, auch wenn es um interdisziplinäre Forschungsprojekte geht. Manches wirkt da etwas oberflächlich, als ob man sich nur ein paar Bilder von Spielen angesehen habe. Spiele sind eine überaus komplexe Fusion aus vielen Einzelmedien und diese Fusion kann ganz unterschiedlich ausfallen. Auch wenn da schon viel Pionierarbeit in den letzten zwanzig Jahren geleistet wurde, so ist kein anderes Medium so stark von einer laufenden Innovation geprägt. Viele ältere Theorien passen mitunter nicht mehr zu modernen Digitalspielen oder es gibt neuere Spiele, die alte Thesen widerlegen. Das ist mir schon häufiger bei Lektüren aufgefallen. Das tolle daran ist, dass man selbst als Student in einer Hausarbeit neues Wissen generieren oder ältere Sichtweisen korrigieren kann.
Vielen Dank und alles Gute für die Zukunft!
Titelangaben
Christopher Wulf: Ludoaudiovisuelle Harmonie
Glückstadt: vwh-Verlag 2024
102 Seiten, 22,80 Euro
| Inhaltsverzeichnis
Reinschauen
| Weiterführende Informationen zum Autoren