Simulating Virtual Window
Authors
Møller, Frederik Oppelstrup ; Baran, Samuel ; Sabra, Katrine Mørch
Term
2. term
Education
Publication year
2026
Submitted on
2026-05-28
Abstract
This project explores how a webcam-based off-axis projection system can create the illusion of a "virtual window" into a three-dimensional environment using only everyday computer hardware. On a conventional screen, the image looks the same no matter where the viewer stands. With off-axis projection, the rendered perspective is continuously adjusted based on the viewer’s head position. This produces motion parallax – where objects appear to move differently depending on their distance – and gives a stronger sense of depth. The system was implemented with Unity to render the 3D scene and Python to track the user’s face using the webcam. Head position and distance were sent between the two programs using a simple, fast UDP-based network protocol, allowing real-time updates of the display. To assess how convincing the illusion was, a user study with seven participants was carried out. Participants tried the system under different conditions, including changes in movement speed, lighting, monocular viewing (using one eye), and the presence of nearby physical and virtual objects around the screen. The quantitative results showed no statistically significant differences between conditions, likely because of the small sample size and limited tracking precision. However, qualitative feedback indicated that jittery and delayed head tracking strongly reduced the feeling of immersion, while nearby virtual objects made the illusion slightly more convincing. Despite these limitations, the project successfully demonstrated a working virtual window prototype without specialised hardware, highlighting the potential of accessible head-coupled display systems for immersive experiences.
Dette projekt undersøger, hvordan et almindeligt webcam og standardcomputerudstyr kan bruges til at skabe en illusion af et "virtuelt vindue" ind i et tredimensionelt miljø. På en normal skærm ser billedet det samme ud, uanset hvor man står. Med off-axis projection ændres billedets perspektiv derimod hele tiden efter, hvor brugerens hoved befinder sig. Det giver bevægelsesparallakse – altså at ting i billedet bevæger sig forskelligt afhængigt af deres afstand – og dermed en stærkere fornemmelse af dybde. Systemet blev bygget med Unity til at tegne 3D-miljøet og Python til at spore brugerens ansigt via webcam. Information om hovedets position og afstand blev sendt mellem de to programmer via en simpel, hurtig UDP-baseret netværksprotokol, så visningen kunne opdateres i realtid. For at vurdere, hvor overbevisende illusionen var, blev der gennemført et brugerstudie med syv deltagere. De prøvede systemet under forskellige forhold, blandt andet med forskellig bevægelseshastighed, belysning, syn med ét øje (monokulært) samt med og uden fysiske og virtuelle objekter tæt på skærmen. De målte data viste ingen statistisk sikre forskelle mellem de forskellige testbetingelser, sandsynligvis på grund af det lille antal deltagere og begrænset præcision i sporingsteknologien. De kvalitative kommentarer pegede dog på, at rystende og forsinket hovedsporing i høj grad ødelagde indlevelsen, mens virtuelle objekter tæt på skærmen gav en lidt bedre illusion. På trods af disse begrænsninger viste projektet, at det er muligt at lave en fungerende prototype på et virtuelt vindue uden specialiseret udstyr og dermed peger på potentialet for mere tilgængelige, hovedstyrede display-systemer til immersive oplevelser.
[This abstract has been rewritten with the help of AI based on the project's original abstract]