A CROSS-MODAL ENHANCED MULTI-DIMENTIONAL VISUALIZATION
Author
Martinussen, Linda
Term
4. term
Education
Publication year
2007
Pages
68
Abstract
Virtuelle miljøer kan få os til at føle, at vi er til stede et sted, selv om vi fysisk befinder os et andet. Dette projekt undersøger, om en stærkere tilstedeværelsesfølelse kan fremkaldes ved at kombinere virtuelle animationer med spatialiseret lyd – altså lyd, der opleves som placeret i rummet – så syn og hørelse understøtter hinanden i en krydssensorisk forstærkning. Tre opsætninger blev testet med tolv deltagere. Alle brugte en bagprojekteret skærm på 2,5 m x 2,5 m. I den første opsætning var der ingen lyd, i den anden var der stereo, og i den tredje blev spatialiseret lyd afspillet via otte højttalere. Deltagerne fik den samme opgave for at styre deres udforskning. Scenariet var en indendørs arena med publikum placeret tilfældigt, hver med varierende adfærd og udseende. Lyddesignet anvendte 3D‑panning og rumklang via et RVBAP‑objekt for at skabe spatialiseret lyd. Lydens adfærd blev styret af visualiseringen via OSC‑beskeder. Undersøgelsen var et within‑subjects design (alle deltagere prøvede alle opsætninger) og blev analyseret med ANOVA suppleret med sammenligning af gennemsnittet af de rå data. Resultaterne viste, at kontrolfaktorer, sensoriske faktorer og lydlige cues kunne øge oplevelsen af tilstedeværelse, men ikke under de samme betingelser. Uforudsigelige individuelle sindstilstande, få deltagere og langsomme navigationsmuligheder gjorde dog nogle resultater uklare.
Virtual environments can make people feel present in a place that is not physically there. This project examines whether that sense of presence can be strengthened by combining virtual animations with spatialized audio—sound that seems to come from specific positions in space—so sight and hearing reinforce each other through cross‑modal enhancement. Three setups were tested with twelve participants. All used a back‑projected 2.5 m x 2.5 m screen. Setup 1 had no sound; setup 2 used stereo; setup 3 used spatialized audio played over eight speakers. Participants performed the same task to guide their exploration. The scene depicted an indoor arena with randomly positioned audience members, each with varied behaviors and appearances. The audio design used 3D panning and reverberation via an RVBAP object to create spatialized sound. Audio behavior was controlled from the visualization via OSC messages. The study used a within‑subjects design (each person tried all setups) and was analyzed with ANOVA, supported by comparing averages of the raw data. Findings indicated that control factors, sensory factors, and audio cues contributed to presence, but not under the same conditions. However, individual differences in state of mind, the small number of participants, and slow navigation options made some results unclear.
[This abstract was generated with the help of AI]
Documents