Towards Augmented Cognition in Games: Psychophysiological signals and game events recognized through artificial neural network
Translated title
Mod Augmenterede Kognition i Computerspil: Psykefysiologiske signaler og spil begivenheder genkend gennem artificial neural network
Author
Wulff-Jensen, Andreas
Term
4. term
Education
Publication year
2016
Submitted on
2016-05-26
Pages
102
Abstract
Denne afhandling undersøger, om psykofysiologiske signaler kan bruges til at genkende, hvad der sker i et videospil—a et skridt mod augmenteret kognition (systemer, der tilpasser sig spillerens tilstand). 31 deltagere spillede Super Mario, mens deres EEG (elektroencefalografi, registrering af hjernens elektriske aktivitet) og øjnesporing blev målt. Spillet blev opdelt i 22 typer begivenheder, og signalerne blev segmenteret i tre-sekunders intervaller, som blev koblet til de oplevede begivenheder. Efter kvalitetskontrol blev 18 af 31 deltagere og 18 af 22 begivenheder udelukket, så analyserne fokuserede på fire begivenheder. Ved hjælp af Uafhængig Komponentanalyse (ICA) blev meningsfulde træk i EEG- og øjnesporingsdata udledt og givet som input til et kunstigt neuralt netværk (ANN) bygget i Encog-rammeværket. Modellernes præstation blev målt som nøjagtighed og vurderet med ANOVA og Kruskal–Wallis ANOVA. Der blev fundet signifikante forskelle mellem modeller baseret på EEG-kanaler for alle fire begivenheder (middelværdier = 57,94%–67,30%). For øjnesporing blev der fundet signifikante forskelle for to af begivenhederne (middelværdier = 57,78%–69,48%). På tværs af begivenheder viste det overordnede gennemsnit signifikante forskelle for de samlede EEG-nøjagtigheder (middelværdier = 59,27%–65,97%) og for de samlede øjnesporingsnøjagtigheder (middelværdier ≈ 59%–66,84%). Selvom resultaterne er lovende, er de ikke på niveau med de bedste EEG-genkendelsesstudier. Det kan skyldes, at disse data er svære at genkende, og at ANN-strukturen kan optimeres yderligere. Samlet peger arbejdet på, at det er muligt at genkende psykofysiologiske mønstre knyttet til spilbegivenheder med neurale netværk.
This thesis explores whether psychophysiological signals can be used to recognize what is happening in a video game—toward augmented cognition (systems that adapt to the player’s state). Thirty-one participants played Super Mario while their EEG (electroencephalography, recording of the brain’s electrical activity) and eye movements were measured. The game was divided into 22 event types, and signals were segmented into three-second intervals aligned with the experienced events. After data quality checks, 18 of 31 participants and 18 of 22 events were excluded, so analyses focused on four events. Using Independent Component Analysis (ICA), meaningful features were extracted from the EEG and eye-tracking data and fed into an Artificial Neural Network (ANN) built with the Encog framework. Model performance was evaluated by accuracy and assessed with ANOVA and Kruskal–Wallis ANOVA. Significant differences were found between models based on EEG channels across all four events (means = 57.94%–67.30%). For eye-tracking, significant differences were found for two events (means = 57.78%–69.48%). Across events, the grand average showed significant differences for accumulated EEG accuracies (means = 59.27%–65.97%) and for accumulated eye-tracking accuracies (means ≈ 59%–66.84%). Although these results are promising, they fall short of leading EEG recognition studies. This may reflect the challenging nature of the data and that the ANN architecture could be further optimized. Overall, the work indicates that neural networks can recognize psychophysiological patterns linked to game events.
[This abstract was generated with the help of AI]
Keywords
Documents
Other projects by the authors