Multimodal Looper: Interactive Visual Music through Gestures
Author
Kiliboz, Pelin
Term
4. term
Education
Publication year
2023
Submitted on
2023-09-04
Pages
37
Abstract
This thesis introduces the first prototype of a multimodal looper—an embodied interface that lets users improvise music by linking body movements to sound and linked visuals. The aim was an intuitive system grounded in an embodied view of music cognition, which treats hearing, vision, and movement as connected, and in widely observed crossmodal correspondences (associations across senses, such as pairing higher pitch with upward motion). The result is a live-looping setup where short sound fragments can be recorded, layered, and activated by gestures. Each fragment is a multimodal object: it is triggered through movement and displayed on screen according to its dynamics (loudness/energy), motion trajectory, pitch, and timbral texture. The thesis details how the system’s modules were designed and integrated. To assess whether the mappings supported a coherent multisensory experience, an A/B split test compared the original version with a variant that randomized the crossmodal mappings. The results showed no significant differences between conditions, and some users found the experience confusing. However, qualitative feedback provided useful guidance for improving future iterations.
Dette speciale præsenterer den første prototype på en multimodal looper—et kropsligt (embodied) interface, der lader brugere improvisere musik ved at koble kropsbevægelser til lyd og visuelle udtryk. Målet var at gøre systemet intuitivt ved at bygge på en kropslig forståelse af musikkognition, hvor hørelse, syn og bevægelse ses som forbundne, samt på udbredte krydsmodale korrespondancer (sammenhænge på tværs af sanser, fx at højere toner forbindes med opadgående bevægelse). Det førte til et live-looping-system, hvor korte lydstumper kan optages, lagres og aktiveres med bevægelser. Hver lydstump er et multimodalt objekt: den trigges gestuelt og vises på skærmen efter sin dynamik (styrke/energi), bevægelsesbane, tonehøjde og klanglige tekstur. Arbejdet beskriver, hvordan systemets moduler blev designet og implementeret. For at vurdere om systemet skabte meningsfulde koblinger mellem sanserne, blev der gennemført en A/B-split-test, hvor deltagere brugte både den oprindelige version og en variant med tilfældige krydsmodale koblinger. Resultaterne viste ingen signifikant forskel mellem de to versioner, og nogle brugere oplevede systemet som forvirrende. Alligevel gav de kvalitative indsigter værdifulde input til, hvordan kommende versioner kan forbedres.
[This apstract has been rewritten with the help of AI based on the project's original abstract]