EXPLORING AUDIOVISUAL INTERACTION THROUGH RICH VIDEO
Author
Boisen, Kasper Alexander Dahlsgaard
Term
4. term
Education
Publication year
2014
Submitted on
2014-05-28
Pages
62
Abstract
Formålet var at afprøve, hvordan lyd og billede påvirker hinanden (krydsmodal interaktion) i komplekse, højtkvalitets videoformater (rich media). Undersøgelsen bestod af fem eksperimenter, hvor der til hvert blev produceret målrettede, høj kvalitet-videoer: (1) hvordan lyd og billede sammen påvirker opfattelsen af afstand, (2) hvordan man kan påvirke oplevet retning og bevægelsesbane, (3) motion bounce-illusionen i rigt medieindhold (en situation hvor bevægelser kan opfattes som et hop snarere end en krydsning), (4) hvordan forventninger dannes, når en del af den audiovisuelle hændelse er skjult eller tilsløret, og (5) en samlet afprøvning, der kombinerer indsigter og elementer fra de foregående studier. Resultaterne viser, at enkle, isolerede audiovisuelle teorier kan omsættes til praksis i video, og at effekterne ofte stadig gør sig gældende på trods af det komplekse og “støjende” præget i rigt medieindhold. Samlet set demonstrerer arbejdet, at krydsmodal interaktion kan implementeres og testes i video, bringer teorierne i anvendelse på nye måder og leverer nye resultater og tolkninger baseret på materiale med høj visuel og auditiv kvalitet.
This project tested how sound and image influence each other (crossmodal interaction) in complex, high-quality video (rich media). It comprised five experiments, each built around custom-produced, high-quality videos: (1) how audio and visuals together shape perceived distance, (2) how to steer perceived direction and trajectory, (3) the motion bounce illusion in rich media (a case where movement can appear as a bounce rather than a crossing), (4) how people form expectations when part of an audio-visual event is hidden or obscured, and (5) a final study combining insights and elements from the earlier experiments. The findings show that simple, isolated audio-visual theories can be put into practice in video, and that these effects often still operate despite the complex and noisy nature of rich media. Overall, the work demonstrates that crossmodal interaction can be implemented and tested in video, carries audio-visual theories into new applications, and provides new results and interpretations using high visual and auditory quality materials.
[This abstract was generated with the help of AI]
Keywords
Documents
Other projects by the authors
Boisen, Kasper Alexander Dahlsgaard: