Sonifying Machinery in Theatrical Performances: A Real-Time Sonification System for Kinetic Theatrical Scenography
Translated title
Sonifying Machinery in Theatrical Performances: Realtid sonificeringssystem til kinetisk teaterscenografi
Author
Møller, Adam Munch
Term
4. Term
Education
Publication year
2026
Submitted on
2026-06-01
Pages
35
Abstract
Stage machinery produces rich motion data that can be turned into sound. This project presents SOMATRIC (SOnifier of MAchinery in TheaTRICs), a real-time system that sonifies the movements of 14 motorized Wahlberg winches in Isnætter at Sydhavns Teater, an adaptation of Anna Kavan’s novel ICE. Rather than linking each winch’s position to a separate audio parameter, the system looks at how the whole group moves together. It derives overall measures: a landscape index (how spread out and uneven the field is), kinematic entropy (how predictable or chaotic the motion is), directional consensus (how much units move in the same direction), and wave detection (whether motion travels like waves). These drive a modular chain of digital audio effects (DSP) implemented as a Max for Live plug-in in Ableton Live. The mapping choices are guided by embodied conceptual metaphor theory (how bodily experience shapes meaning) and by the production’s dramaturgical vocabulary, so the sound supports the same themes as the choreography, lighting, and scenography. A browser-based operator interface lets non-technical staff adjust mappings during rehearsals and runs without needing signal-processing expertise. The system was evaluated in two phases: initial sessions with synthetic motion sources to test whether the mappings were perceptually clear, followed by a planned live session with the full winch infrastructure. The production premiered in May 2026; the sonification was not integrated into the premiere due to access constraints.
Teatermaskineri skaber rige bevægelsesdata, som kan omsættes til lyd. Dette projekt udvikler SOMATRIC (SOnifier of MAchinery in TheaTRICs), et system der i realtid gør bevægelsen fra 14 motoriserede Wahlberg-winches (scenespil) i forestillingen Isnætter på Sydhavns Teater – en bearbejdning af Anna Kavans roman ICE – til lyd. I stedet for at koble hver enkelt vinschs position direkte til en lydparameter, analyserer systemet, hvordan hele gruppen bevæger sig samlet. Herfra beregner det overordnede mål: et landskabsindeks (hvor spredt og ujævnt feltet er), kinematisk entropi (hvor forudsigelig eller kaotisk bevægelsen er), retningsmæssig konsensus (hvor meget enhederne bevæger sig i samme retning) og bølgedetektion (om bevægelse forplanter sig som bølger). Disse styrer en modulær kæde af digitale lydeffekter (DSP) implementeret som et Max for Live-plug-in i Ableton Live. Valgene af koblinger mellem bevægelse og lyd bygger på teorien om legemliggjorte, konceptuelle metaforer (hvordan kropslige erfaringer former betydning) samt forestillingens eget dramaturgiske sprog. Det skal sikre, at lyden spiller ind i de samme temaer som koreografi, lys og scenografi. En browser-baseret betjeningsflade gør det muligt for ikke-teknisk personale at justere koblinger under prøver og afvikling uden kendskab til signalbehandling. Systemet blev evalueret i to faser: først med syntetiske bevægelseskilder for at undersøge, om koblingerne var tydelige at opfatte, og dernæst med en planlagt live-session med den fulde vinschinfrastruktur. Forestillingen havde premiere i maj 2026; sonificeringen blev ikke integreret i premieren på grund af adgangsbegrænsninger.
[This apstract has been rewritten with the help of AI based on the project's original abstract]
Keywords
sonification ; kinetics ; sound ; music ; computing ; max ; osc ; music production