Perceptual Evaluation of Photo-Realism in Real-Time 3D Augmented Reality

Perceptuel evaluering af fororealisme i realtidsrendering af 3D augmenteret realitet

Borg, Mathias ; Paprocki, Martin Marko

4. term

Medialogy, Master

2013

2013-05-30

108

Denne afhandling præsenterer en praktisk arbejdsgang (pipeline) til at få virtuelle 3D-objekter til at se fotorealistiske ud i udvidet virkelighed (augmented reality), samt en perceptuel evaluering af, hvordan de virtuelle scener opfattes. Det meste indhold gengives i realtid, og AR-løsningen følger hele tiden en visuel markør, så objekterne bliver liggende det rigtige sted. Vi tester opsætningen under forskellige lysforhold og simulerer typiske artefakter fra videostrømmen, som for eksempel kamerastøj, for bedre at matche det virkelige billede. Vi undersøger systematisk faktorer, der påvirker realismen: artefakter i skærmbilledet, skygger, lys, højlys og geometri. Resultaterne viser, at troværdige skygge- og objektsilhuetter, korrekte højlys på blanke (spekulære) overflader og realistisk støjsimulering er særligt vigtige for fotorealistisk augmentering. I en side-om-side-sammenligning demonstrerer vi, at et virtuelt objekt, gengivet i realtid, under de bedste betingelser kan opfattes som ægte. Desuden er et omhyggeligt design af pipelinen afgørende for at repræsentere objekter og lys korrekt.

This thesis presents a practical workflow (pipeline) for making virtual 3D objects look photorealistic in augmented reality, along with a perceptual evaluation of how people experience the resulting scenes. Most content is rendered in real time, and the AR system continuously tracks a visual marker to keep objects anchored in place. We test the setup under different lighting conditions and simulate typical video-feed artifacts, such as camera noise, to better match real footage. We systematically examine factors that influence realism: screen-space artifacts, shadows, lights, highlights, and geometry. Our results show that believable shadow and object silhouettes, accurate highlights on shiny (specular) surfaces, and realistic noise simulation are especially important for photorealistic augmentation. In a side-by-side comparison, we demonstrate that a real-time virtual object can be perceived as real under the best conditions. Careful pipeline design is crucial to represent objects and lighting correctly.

[This abstract was generated with the help of AI]

Augmentet Reality ; 3D ; Perception ; Photo-realisme ; Pipeline ; Shadows ; Silhouettes ; Highlights ; Shading ; Geometry

Download
View record in AAU Student Projects