Sonifying Machinery in Theatrical Performances: A Real-Time Sonification System for Kinetic Theatrical Scenography
Translated title
Sonifying Machinery in Theatrical Performances: Realtid sonificeringssystem til kinetisk teaterscenografi
Author
Møller, Adam Munch
Term
4. Term
Education
Publication year
2026
Submitted on
2026-06-01
Abstract
Theatrical machinery can produce rich movement data. This project develops SOMATRIC, a real-time system that turns such data into sound (sonification). It was designed for 14 motorised Wahlberg winches used in Isnætter, a production at Sydhavns Teater adapted from Anna Kavan’s novel ICE. Rather than linking each winch directly to a separate audio parameter, the system derives group-level measures from how the full array moves in relation: a landscape index (overall shape), kinematic entropy (degree of unpredictability), directional consensus (how aligned directions are), and wave detection (whether motion propagates like waves). These metrics drive a modular chain of audio effects (DSP), implemented as a Max for Live plugin in Ableton Live. Mapping choices draw on embodied conceptual metaphor theory and the production’s dramaturgical vocabulary, so the sound participates in the same thematic network as choreography, lighting, and scenography. A browser-based operator interface lets non-technical staff adjust mappings at runtime without knowledge of the underlying signal processing. The system was evaluated in two phases: preliminary sessions with synthetic motion senders to test the perceptual clarity of the mappings, followed by a planned live session with the full winch infrastructure. The production premiered in May 2026; the sonification system was not integrated into the premiere due to access constraints.
Scenemaskineri kan skabe rige bevægelsesdata. Dette projekt udvikler SOMATRIC, et realtidssystem, der omsætter sådanne data til lyd (sonificering). Systemet blev designet til 14 motoriserede Wahlberg-vinsjer i Isnætter, en forestilling på Sydhavns Teater baseret på Anna Kavans roman ICE. I stedet for at koble hver enkelt vinsj direkte til en lydparameter udleder systemet fælles mål fra hele vinsjfeltets relationelle bevægelse: et landskabsindeks (overordnet form), kinematisk entropi (grad af uforudsigelighed), retningsmæssig konsensus (hvor ens retningerne er) og bølgedetektion (om bevægelse breder sig som bølger). Disse mål styrer en modulær kæde af lydeffekter (DSP), implementeret som et Max for Live-plugin i Ableton Live. Valg af koblinger mellem bevægelse og lyd bygger på teori om kropsliggjorte konceptuelle metaforer samt forestillingens dramaturgiske vokabular, så lyden indgår i samme tematiske netværk som koreografi, lys og scenografi. En browserbaseret operatørgrænseflade gør det muligt for ikke-teknisk personale at justere koblinger i realtid uden kendskab til den underliggende signalbehandling. Systemet blev evalueret i to faser: indledende sessioner med syntetiske bevægelsessendere for at teste, om koblingerne er lette at opfatte, efterfulgt af en planlagt live-session med det fulde vinsj-setup. Forestillingen havde premiere i maj 2026; sonificeringssystemet blev ikke integreret i premieren på grund af adgangsbegrænsninger.
[This abstract has been rewritten with the help of AI based on the project's original abstract]
Keywords
sonification ; kinetics ; sound ; music ; computing ; max ; osc ; music production