A Framework for Evaluating User Experience of Mobile AR Apps

Abstract

Dette kandidat speciale omhandler udvikling af et framework, der har til hensigt at hjælpe forskerer og virksomheder med at evaluere User Experience (UX) af Augmented Reality (AR) apps. Da framework skal kunne anvendes i både forsknings- og virksomhedssammenhænge er det nødvendigt at tage højde for de forskellige behov. Der arbejdes under antagelsen af at forskerer foretrækker et framework, der er valideret og som har et solidt teoretisk fundament. Derudover skal frameworket indeholde detaljerede informationer vedrørende dets teoretiske og metodiske opbygning, så det er muligt at referer tilbage til videnskabeligt materiale. Virksomhedbehovet blev diskuteret med Filippos fra OutHere, hvor det var tydeligt at framework skal være hurtigt og nemt at tilgå. Derudover skal det være muligt, at producere sammenligninglige resultater, så virksomheder kan sammenligne deres AR løsning på tværs af konkurrenter og design iterationer. Sammenlignet med forskerer, så har virksomheder ikke brug for lige så meget information, dog har de brug for, at det er klart hvad der måles og hvordan resultaterne skal tolkes og hvorvidt der er noget de skal være særligt opmærksomme på. Specialet har til hensigt at besvare problemformuleringen, der blandt andet omhandler hvilke UX dimensioner, der bør inkluderes i frameworket for at evaluerer UX af AR apps samt hvordan disse dimensioner bør evalueres af brugeren. Dette med forbehold for forskerer og virksomheders forskellige behov. Frameworket udvikles på baggrund af omfattende teoretisk og metodisk viden opnået igennem et stort litteraturstudie. Dette havde også til formål, at producere en liste over hvilke UX dimensioner, der evalueres i litteraturen. Det er ud fra denne liste, at speciﬁkke UX dimensioner blev valgt. Derefter blev der foretaget en dybere undersøgelse af disse dimensioner med særligt fokus på deres respektive evaluerings metoder samt de spørgsmål, der inkluderes i disse. Det initierende framework blev præsenteret og diskuteret på en ekspert workshop, hvorefter der blev foretaget nogle ændringer. Det endelige framework blev testet gennem et pilot studie og efterfølgende administreret gennem forskellige distributions kanaler. Der blev i alt indsamlet data fra 119 deltagerer (58 kvinder) hvis alder spænder fra 15 til 57 år (gen. = 26.5, std = 6.8) og hvor 20 nationaliteter er repræsenteret. Deltagerne blev igennem spørgskemaet, instrueret i hvordan de skulle udføre testen; downloaded enten Bang & Olufsen AR Experience, IKEA Place, ModiFace MakeUp eller Just a Line, hvor de skulle brug tid på at udforske den valgte app og derefter besvare frameworkets 25 spørgsmål. Det overordnet mål for analysen var at validere frameworket via Conﬁrmatory Factor Analysis (CFA), da den antagede dimensions struktur havde ﬂere niveauer (dvs. dimensioner og under-dimensioner). Desværre blev CFA’en afvist, hvilket enten kan skyldes at den indsamlede data ikke reﬂekterer den antagede struktur eller at der ikke var nok deltagerer. Af den årsag blev der udført en Exploratory Factor Analysis (EFA), som har til hensigt at undersøge hvilken struktur, der faktisk er repræsenteret af data. Ud fra EFA resultaterne blev der fundet syv, internt konsistente, dimensioner: Perceived Ease of Use (α = 0.888), Perceived Value (α = 0.866), Enjoyment (α = 0.703), Social Acceptance (α = 0.684), Visual Aesthetics (α = 0.673), Engagement (α = 0.667) og Stimulation (α = 0.599). Generelt kan det konkluderes at frameworket imødekommer ﬂere af forskernes og virksomhedernes behov og repræsenterer nogen af de mest evaluerede UX dimensioner.

This Master’s thesis represents the development of a framework for evaluating UX of AR consumer apps. The framework was developed based on extensive theoretical and methodical knowledge acquisition obtained through a comprehensive literature review of which the main purpose was to compile a list of UX dimensions and evaluation methods. A subset of dimensions were selected from this list and were subjected to further investigation, with a particular focus on evaluation methods and items used to address these dimensions. Based on this a multilayered dimension structure was hypothesized. The initial framework was presented at an expert session and iterated upon based on the feedback. The survey was administered through diﬀerent network channels as a remote user study. Participants (N = 119) downloaded and explored either Bang & Olufsen AR Experience, IKEA Place, ModiFace MakeUp or Just a Line and subsequently evaluated their experience based on the 25 framework items. To check for validity a CFA was performed, however the hypothesized dimension structure was rejected, hence an EFA was performed. Seven, internally consistent, factors were extracted from the EFA: Perceived Ease of Use (α = 0.888), Perceived Value (α = 0.866), Enjoyment (α = 0.703), Social Acceptance (α = 0.684), Visual Aesthetics (α = 0.673), Engagement (α = 0.667) and Stimulation (α = 0.599). Three of which are amongst the most assessed UX dimensions and some represents the hypothesized dimensions.

A master thesis from Aalborg University

A Framework for Evaluating User Experience of Mobile AR Apps