Validity and Reliability of Recording Spatial Navigation Strategies in Virtual Reality
Author
Sandberg, Nana
Term
4. term
Education
Publication year
2018
Submitted on
2018-08-01
Pages
54
Abstract
I psykologi og kognitionsvidenskab er der fornyet fokus på to grundlæggende idealer: pålidelighed (at få ensartede resultater, når studier gentages) og gyldighed (at man faktisk måler det, man vil måle). Dette fokus følger af replikationskrisen, hvor mange publicerede fund var svære at genskabe. Derfor granskes metoder nu lige så nøje som resultater. Rumlig kognition undersøger, hvordan mennesker tænker om og navigerer i rum. En udbredt tilgang bruger en computersimuleret virtuel labyrint. I 2005 kategoriserede Kallai, Makany, Karadi og Jacobsen forskellige rumlige strategier ud fra adfærdsdata fra en sådan virtuel Morris Water Maze. Denne tilgang bygger på tre elementer, som bør vurderes kritisk: brugen af virtuelle miljøer som testmiljø, at udlede kognitive processer ud fra adfærd alene, og metoder til at klassificere adfærd i strategikategorier. Denne afhandling replikerer studiet fra 2005 for at undersøge: Kan virtuelle labyrintmetoder pålideligt og gyldigt registrere, opdage og klassificere kognitive strategier? Vi gennemførte en replikation med 20 deltagere og analyserede data med en automatiseret kategoriseringsmetode. Vi kunne identificere de fire strategier, som det oprindelige studie beskrev. Der er dog vigtige usikkerheder. Kvantitative klassifikationer fanger måske ikke hele spændet af strategier, som folk bruger i praksis. Det er også vanskeligt at afgøre, om et bestemt adfærdsmønster afspejler en specifik kognitiv tilstand. Desuden er det endnu uklart, hvordan adfærd i virtuelle miljøer relaterer til adfærd i virkelige omgivelser, hvilket rejser spørgsmål om, hvorvidt strategier observeret virtuelt er gyldige uden for testsituationen. Samlet set påvirker mange faktorer stadig vores mulighed for at registrere, opdage og klassificere strategier på en gyldig og pålidelig måde. Fremskridt kræver en bedre forståelse af, hvordan forskningsteknologier interagerer med deltagere og påvirker data, samt en praksis i feltet, der understøtter kritisk granskning og udvikling af mere robuste metoder.
In psychology and cognitive science, there is renewed attention to two basic ideals: reliability (getting consistent results when studies are repeated) and validity (measuring what we intend to measure). This shift follows the replication crisis, where many published findings proved hard to reproduce. As a result, researchers now scrutinize methods as closely as results. Spatial cognition research examines how people think about and navigate space. One approach uses a computer-based virtual maze. In 2005, Kallai, Makany, Karadi, and Jacobsen categorized different spatial strategies from behavioral data in such a virtual Morris Water Maze. That approach depends on three elements that merit careful evaluation: using virtual environments as test settings, inferring cognitive processes from behavior alone, and classifying behavior into strategy categories. This thesis replicates the 2005 study to ask: Can virtual maze methods reliably and validly record, detect, and classify cognitive strategies? We ran a replication with 20 participants and analyzed the data with an automated categorization method. We were able to identify the four strategies reported in the original study. However, important uncertainties remain. Quantitative classifications may not capture the full range of strategies people use in practice. It is also difficult to determine whether a given pattern of behavior reflects a specific cognitive state. Moreover, it is not yet clear how behavior in virtual environments relates to behavior in real-world settings, raising questions about whether strategies observed virtually are valid outside the test situation. In sum, many factors still influence our ability to record, detect, and classify strategies in a valid and reliable way. Progress will require a better understanding of how research technologies interact with participants and shape the data, and a field-wide practice that supports critical scrutiny and the development of more robust methods.
[This abstract was generated with the help of AI]
Keywords
Documents