George Lewis: The Reincarnation of Blind Tom

Das Stück R.U.R. [Rossum's Universal Robots, 1920] des tschechischen Schriftstellers Karel Čapek stellt den Konflikt zwischen menschlichen Kapitalisten und einer neuen Quelle von Arbeitskräften dar, der "Robota", ein Begriff, der in verschiedenen Sprachen als "Roboter" überliefert ist. Čapeks Vorbild für das Stück, das Robota-System der böhmischen Leibeigenschaft, hatte etwa vierhundert Jahre lang Bestand und ähnelte dem späteren amerikanischen "Sharecropping". Auch wenn Čapek nicht direkt auf die US-amerikanische Sklaverei Bezug nimmt, zeigt sein Stück das roboterhafte Äquivalent von "Haussklaven" – Robotern, die kochen und putzen – und "Feldsklaven" – Robotern, die in den Farmen und Fabriken arbeiten.

Gelegentlich gelang es amerikanischen Sklavenmusikern, aus diesen Beschränkungen auszubrechen. Das vielleicht berühmteste Beispiel aus dem 19. Jahrhundert war der Komponist und Pianist Thomas "Blind Tom" Wiggins. Der 1849 in der Sklaverei geborene Wiggins trat im Alter von zehn Jahren im Weißen Haus auf und wurde zu einem der berühmtesten amerikanischen Komponisten und Pianisten seiner Zeit – wahrscheinlich der erste schwarze amerikanische Komponist, der diesen Status erreichte, zu einer Zeit, als die amerikanische Kunstmusik noch in den Kinderschuhen steckte. Blind Tom verfügte über ein Repertoire von über fünftausend Werken, darunter Beethovens Sonate Pathétique, Bach-Fugen sowie Werke von Chopin, Mendelssohn, Rossini, Verdi, Meyerbeer und Liszt. Er führte auch seine eigenen Kompositionen für Klavier auf, darunter seine "Imitationen" von Naturphänomenen und Maschinen. Sein berühmtestes Stück, The Battle Of Manassas, das er 1863 im Alter von 14 Jahren schrieb, verwendet notierte Klaviercluster, um die Geräusche von Bomben und Schlachten zu evozieren, mehr als 50 Jahre vor Henry Cowell und den Futuristen.

Sowohl Robotern als auch Sklaven wird das Subjektsein und die Fähigkeit zum freien Ausdruck abgesprochen. Die wichtige Erkenntnis des kritischen Theoretikers Fred Moten ist jedoch, dass Subjektivität gehört werden kann. In R.U.R. galten die Roboter, die Musik spielen konnten, als fortschrittlicher, dem Menschsein am nächsten. Als Sklave war Blind Tom eine bloße Ware, aber als Musiker, so Moten, "wenn die Ware sprechen könnte, wäre sie von einem gewissen Geist durchdrungen".

In The Reincarnation of Blind Tom wird Wiggins metaphorisch als KI reinkarniert – Teil meiner fortlaufenden Erforschung dessen, wie das Dekoloniale klingen könnte, indem ich neue Identitäten und Geschichten für klassische Musik präsentiere – nicht so sehr, um "Vielfalt" zu erreichen, sondern um eine neue Komplexität zu fördern, die weitaus mehr kreative Tiefe verspricht. An diesem Konzert wirken zwei Solisten mit – der Sopransaxophonist Roscoe Mitchell und Voyager, ein interaktives "virtuelles Improvisationsprogramm", das ursprünglich von mir programmiert und seitdem in Zusammenarbeit mit Damon Holzborn ständig aktualisiert wurde. Seit 1979 generiere ich Musik mit Hilfe algorithmischer Techniken, und Voyager ist eine Weiterentwicklung von Rainbow Family, einem Stück für drei vernetzte Computersysteme und vier menschliche Improvisatoren, das 1984 am IRCAM uraufgeführt wurde – meines Wissens eines der ersten interaktiven KI-Werke, die dort aufgeführt wurden. Voyager erschien erstmals 1987 als Konzert, bei dem ein oder mehrere menschliche Spielende mit einem 64-stimmigen multitimbralen und mikrotonalen "elektronischen virtuellen Orchester" aus synthetisierten Stimmen interagierten. Im Jahr 2004 wurde Voyager zu einem improvisierenden Pianisten, der auf einem computergesteuerten akustischen Klavier, dem Yamaha Disklavier, spielte. Diese Version von Voyager gab ihr Debüt in der Carnegie Hall (vielleicht als erster interaktiver Computerpianist) als Solist mit dem American Composers Orchestra in meinem Werk Virtual Concerto (2004). Es ist die neueste Version dieses Pianistensystems, die in dem vorliegenden Werk als Solist auftritt.

Musikalische KI bietet inzwischen eine breite Palette von Werkzeugen zur Erzeugung von Musik. Programme wie Rainbow Family und Voyager sind jedoch auch auf die Echtzeit-Erkennung und -Klassifizierung von musikalischen Gesten während der Live-Performance angewiesen, ein Bereich, in dem sich die musikalische KI relativ wenig entwickelt hat. Voyager hat seine eigenen Erkennungssysteme, aber dieses Vor-ML-System hatte kein nennenswertes Klassifizierungssystem. Seit zwei Jahren forsche ich daher am Centre for Practice and Research in Science and Music (PRiSM) am Royal Northern College of Music (RNCM), einem der führenden Standorte für die Entwicklung von musikalischer KI. Im November 2022 gipfelte diese Forschung in der ersten Version einer Software zur Erkennung musikalischer Gesten (MGR), die in meinem Werk Forager (2022) für Quintett und einen interaktiven Computerpianisten Voyager verwendet wurde.

Die in Reincarnation verwendete Version von Voyager nutzt eine auf maschinellem Lernen basierende MGR, die von dem PRiSM-Komponisten und -Forscher Hongshuo Fan entwickelt wurde, um die Klänge des Orchesters und des Saxophon-Solisten in Echtzeit zu analysieren und anhand dieser Analyse die Reaktionen auf das Spiel der Musiker zu beeinflussen. Der PRiSM MGR ermöglicht es Voyager, bestimmte musikalische Gesten des Saxophonisten und des Orchesters zu erkennen; außerdem erzeugt Voyager ein eigenständiges Verhalten, das sich aus seinen eigenen internen Prozessen ergibt. Der Anteil des Orchesters am Geschehen ist vollständig notiert und dient als nicht improvisiertes Substrat für das Werk als Ganzes. Ziel ist es, die Kommunikation zwischen den menschlichen Musiker:innen und den Computer-Musikern mit Hilfe eines Lexikons zu ermöglichen, das von den Musiker:innen, dem Computer und dem Komponisten gemeinsam erstellt wird. Dabei haben sowohl der Computer als auch die menschlichen Solist:innen die Freiheit, die in der gesamten musikalischen Umgebung aktiven klanglichen Verhaltensweisen auszudrücken und zu interpretieren.

Die derzeit vorherrschenden Methoden für maschinelles Lernen in der Musik hängen entscheidend von der Nachahmung ab, typischerweise von einem Korpus von Verhaltensweisen. Wie ich jedoch in einem vor einem Vierteljahrhundert veröffentlichten Artikel feststellte, werden Vorstellungen über das Wesen und die Funktion von Musik unweigerlich in Musiksoftware eingebettet; die Interaktionen mit diesen Systemen offenbaren die Merkmale der Kulturgemeinschaft, die sie hervorgebracht hat. Reproduzieren Algorithmen, die "lernen", Variationen eines Korpus zu produzieren, letztlich die in diesem Korpus eingebetteten kulturellen Werte? Wenn ja, wie können wir neue musikalische und kulturelle Werte aus einem bestehenden Korpus schaffen? Und was könnten diese Werte am Ende sein? Diese Arbeit geht der Frage nach, ob und wie wir über den Korpus, über die Nachahmung hinausgehen können.

Diese Art des Musizierens hat Auswirkungen, die weit über das Ästhetische hinausgehen und nicht nur Fragen darüber aufwerfen, wie wir künstliche Intelligenz in der Welt erleben, sondern auch unser Verständnis des Menschlichen in Frage stellen.

English

Czech writer Karel Čapek's play R.U.R. [Rossum's Universal Robots, 1920] imagines conflict between human capitalists and a new source of labor, the "robota", a term that has come down to us in various languages as "robot". Čapek's model for the play, the robota system of Bohemian serfdom, endured for about four hundred years, and was similar to the later American "sharecropping". While Čapek does not directly refer to US chattel slavery, his play presents the robotic equivalent of "house" slaves – robots who do the cooking and cleaning – and "field" slaves – robots who work in the farms and factories.

On occasion, US slave musicians would somehow break out from these restrictions. Perhaps the most celebrated 19th century example was composer-pianist Thomas "Blind Tom" Wiggins. Born under slavery in 1849, Wiggins performed at the White House at the age of ten, and became one of the most famous American composer-pianists of his time – probably the first Black American composer to achieve that status, at a time when American art music was in its infancy. Blind Tom had a repertoire of over five thousand works, including Beethoven's Sonata Pathétique, Bach fugues, and works by Chopin, Mendelssohn, Rossini, Verdi, Meyerbeer, and Liszt. He also performed his own compositions for piano, including his "imitations" of natural phenomena and machine. His most famous piece, The Battle Of Manassas, which he wrote at the age of 14 in 1863, uses notated piano clusters to evoke the sounds of bombs and battles, more than 50 years before Henry Cowell and the Futurists.

For both robots and slaves there is a denial of subjecthood and the capability for free expression. But critical theorist Fred Moten's important insight is that subject hood can be heard. In R.U.R., the robots that could play music were considered more advanced, closest to being human. As a slave, Blind Tom was a mere commodity, but as a musician, as Moten says, "if the commodity could speak, it would be imbued with a certain spirit".

In The Reincarnation of Blind Tom, Wiggins is metaphorically reincarnated as an AI – part of my ongoing exploration of what the decolonial might sound like, presenting new identities and histories for classical music – not so much to achieve "diversity", but to foster a new complexity that promises far greater creative depth. This concerto features two soloists – soprano saxophonist Roscoe Mitchell, and Voyager, an interactive "virtual improvisor" program originally programmed by me and continually updated since that time with Damon Holzborn as primary collaborator. I have been generating music using algorithmic techniques since 1979, and Voyager is an outgrowth of Rainbow Family, for three networked computer systems and four human improvisors that premiered at IRCAM in 1984 – to my knowledge one of the first interactive AI works performed there. Voyager first appeared in 1987 as a concerto in which one or more human players interacted with a 64-voice multitimbral and microtonal "electronic virtual orchestra" of synthesized voices. In 2004, Voyager became an improvising pianist, performing on a computer-controlled acoustic piano, the Yamaha Disklavier. This version of Voyager made its Carnegie Hall debut (perhaps the first interactive computer pianist to do this) as soloist with the American Composers Orchestra in my work Virtual Concerto (2004). It is the latest version of this pianist-system that appears as a soloist in the present work.

Musical AI now offers a wide range of tools for generating music. However, programs like Rainbow Family and Voyager also depend on real-time recognition and classification of musical gestures during live performance, an area in which musical AI has developed relatively little. Voyager has its own recognition systems, but this pre-ML system had no classification system to speak of. Thus, for the past two years I have been pursuing research at the Centre for Practice and Research in Science and Music (PRiSM) at the Royal Northern College of Music (RNCM), one of the premier sites for the development of musical AI. In November 2022 this research culminated in the first version of a musical gesture recognition (MGR) software that was used in my work Forager (2022) for quintet and a Voyager interactive computer pianist.

The version of Voyager used in Reincarnation uses a machine learning-based MGR developed by PRiSM composer-researcher Hongshuo Fan to analyze the sounds of the orchestra and the saxophone soloist in real time, using that analysis to influence its responses to the musicians' playing. The PRiSM MGR enables Voyager to recognize specific musical gestures played by the saxophonist and performed by the orchestra; additionally, Voyager creates independent behavior that arises from its own internal processes. The orchestra's part of the proceedings is fully notated, serving as a non-improvised substrate for the work as a whole. The aim is to enable the human and computer musicians to communicate with each other using a lexicon that is co-created by the musicians, the computer, and the composer. Here, both the computer and the human soloists have the freedom to express and interpret the sonic behaviors active in the overall musical environment.

Dominant current methodologies for machine learning in music depend crucially on imitation, typically of a corpus of behaviors. However, as I observed in an article published a quarter-century ago, notions about the nature and function of music inevitably become embedded in musical software; interactions with these systems reveal characteristics of the community of culture that produced them. Are algorithms that "learn" to produce variations on a corpus ultimately reproducing the cultural values embedded in that corpus? If so, how can we create new musical and cultural values from an existing corpus? And what might those values end up becoming? This work asks whether and how we can move beyond the corpus, beyond imitation.

This kind of music-making bears implications far beyond the aesthetic, not only raising questions regarding how we now experience artificial intelligence in the world, but also challenging our understanding of the human.