Perceptual Evaluation of Photo-Realism in Real-Time 3D Augmented Reality

Abstract

Projektet “Perceptual Evaluation of Photo-Realism in Real-Time 3D Augmented Reality” beskriver en opsætning hvordan perceptionen af 3D augmenterede objekter er evalueret. Målet er at opnå fotorealisme således at der ikke kan ses forskel mellem et virtuelt augmenteret objekt og det virkeligt objekt. Augmenteret realitet (AR) er grafik projekteret på en skræm, hvor et 3D objektet er vist oven på den videosekvens som kameraet filmer. For at et program kan placerer 3D objektet korrekt i scenen skal en markør være til stede. På den måde vil programmet finde ud af hvordan markøren er vist i den filmede videosekvens og derudfra kunne udregne hvordan 3D objektet skal placeres (inklusiv rotationen, skaleringen og projektionen af den). For at opnå fotorealisme er der en rækker aspekter der skal tilses. Først og fremmeste skal de virkelige parametre konverteres til en virtuel repræsentation. Her bliver objekter skannet ind ved hjælp af programmet 123D Catch fra Autodesk. Dette bliver gjort ved at fotografere et givet objekt fra adskillige vinkler, hvorefter programmet rekonstruerer et 3D objekt ud fra billederne. Lyset skal også reproduceres i det virtuelle rum. Derfor bliver testopsætningen også fotograferet og et panorama-billede kan bruges til at finde frem til lys-fordelingen, lys-temperaturen, samt lys-intensiteten. Kun givet lys og objekter er det stadig ikke muligt at opnå fotorealistiske objekter da kameraet der filmer scenen også skaber artefakter. Her er der især lagt meget vægt på at genskabe støjen korrekt. Støjen bliver først indhentet og isoleret fra en sekvens af billeder, for så at blive genskabt henover det virtuelle objekt i scenen. Ydermere er der tilføjet anti-aliseringen for at integrere grafikker bedre sammen med video sekvensen afspillet i baggrunden. Efter objekter, lys og kamera-artefakter er blevet genskabt i det virtuelle rum kan eksperimenterne udføres. Ved det første eksperiment blev flere parametre evalueret. Disse parameter var: • Med og uden støj og anti-aliseringen • Bløde og hårde skygger, samt skyggelægning • Forskellige kvaliteter af 3D objektet • Med og uden lys-højdepunkter I dette eksperiment blev objekterne vist en ad gangen, hvor der så blev skiftet mellem virtuelle og virkelige objekter. Testpersonerne skulle så vurdere hvorvidt objektet var rigtigt eller virtuelt. Resultatet på eksperimentet var at testpersonerne sÃ¥ en del af de virtuelle objekter som virkelige, men at silhuetterne på objeketet og skyggerne skulle være af høj kvalitet, samt lys-højdepunkterne skulle være til stedet, for at de virtuelle objekter blev vurdet som virkelige. Ydermere viste pilottests at støj også er meget vigtigt at inkludere. Det andet eksperiment præsenterede to objektet for testpersonen, side om side. Af de to objekter var det ene virtuelt. Her skulle testpersonen så vurdere hvilket af de to objekter der var det virkelige. Resultaterne viste at et objekt godt kan bestå en test side om side.

We present a pipeline for creating photo-realism of three-dimensional augmented objects, as well as a perceptual evaluating of the virtual scenes. Most of the content is rendered in real-time, while the augmented reality solution performs constant tracking of a marker. A setup utilizing different lighting conditions is created and artefacts of the video-feed are simulated. Different parameters affecting the realism are evaluated. These are screen space artefacts, shadows, lights, highlights and geometry. The results show that silhouettes of the shadows and the geometry and highlights on specular objects are important, as well as the simulation of noise, for creating a photorealistic augmentation. Furthermore, a side by side comparison is conducted to verify that it is possible to render a virtual object in realtime that is indistinguishable from a real object. The results showed that the virtual object is perceived as real under the best conditions. The design of the pipeline is important, to be able to virtualise the objects and the lights correctly.

A master thesis from Aalborg University

Perceptual Evaluation of Photo-Realism in Real-Time 3D Augmented Reality

[Perceptuel evaluering af fororealisme i realtidsrendering af 3D augmenteret realitet]