Generative Lighting Design with Synesthesia

Generativt Lys Design med Synestesi

Tyroll, Simon Borst

4. Term

Lighting Design

2020

2020-09-28

89

Dette speciale præsenterer et system, der omsætter musik til dynamiske visuelle udtryk, inspireret af synæstesi (en blanding af sanser, hvor for eksempel lyde kan fremkalde farver). Vi efterligner denne krydsning ved at forbinde to kunstige sansemoduler direkte. Systemet bruger kunstige neurale netværk. En autoencoder (et neuralt netværk, der lærer en kompakt beskrivelse af lyd) analyserer musik og udtrækker vigtige træk. Disse træk styrer et Compositional Pattern Producing Network (CPPN), et neuralt netværk der genererer billeder og animationer, så ændringer i musikken skaber bevægelse i de visuelle mønstre. I et forsøg med 30 deltagere sammenlignede vi systemet med to referencevisualiseringer: et spektrogram (en almindelig måde at afbilde lyd over tid) og et CPPN, hvis bevægelser blev styret af Perlin-støj (en glat, tilfældighedslignende signaltype). Resultaterne viser, at systemet skiller sig ud selv under ugunstige betingelser og har potentiale som et generativt værktøj til dynamisk lysdesign. For at demonstrere dette blev der skabt et lysdesign, som kobler lys og musik via systemet. For at realisere systemets fulde potentiale er der behov for videre udvikling, særligt med en kybernetisk tilgang, hvor feedback mellem system, omgivelser og brugere kan styre det generative design.

This thesis presents a system that turns music into dynamic visuals, inspired by synesthesia (a blending of senses where, for example, sounds can trigger colors). We mimic this cross-talk by directly linking two artificial sensory modules. The system uses artificial neural networks. An autoencoder (a neural network that learns a compact description of audio) analyzes music and extracts key features. These features drive a Compositional Pattern Producing Network (CPPN), a neural network that generates images and animations, so that changes in the music create movement in the visual patterns. In a study with 30 participants, we compared the system with two reference visualizations: a spectrogram (a common way to picture sound over time) and a CPPN whose motion was driven by Perlin noise (a smooth, random-like signal). The results show that the system remains distinguishable even under unfavorable conditions and has potential as a generative tool for dynamic lighting design. To illustrate this, we created a lighting design that pairs light and music using the system. Unlocking the system’s full potential will require further development, particularly through a cybernetic approach, where feedback between the system, its environment, and users guides generative design.

[This summary has been rewritten with the help of AI based on the project's original abstract]

Synesthesia ; Machine Learning ; Artificial Intelligence ; Artificial Cognition ; Generative Art ; Generative Design ; Augmented Design ; Feature Extraction ; CPPN ; Autoencoder ; Lighting Design ; Cybernetics ; NEAT ; HyperNEAT ; Genetic Algorithm ; Neuroevolution ; Evolutionary Algorithms ; Neural Networks ; Cross Modality ; Cross Modal Perception ; Perception ; Cross Modal Enhancement ; Neural Short Circuit

Download
View record in AAU Student Projects