Towards Augmented Cognition in Games - Psychophysiological signals and game events recognized through artificial neural network
Author
Wulff-Jensen, Andreas
Term
4. term
Education
Publication year
2016
Submitted on
2016-05-26
Pages
102
Abstract
Dette speciale tager nogle skridt mod augmenteret kognition i spil ved at undersøge, om hjernesignaler og øjenbevægelser kan afsløre, hvad der sker i et spil. 31 forsøgspersoner spillede Super Mario, mens deres elektroencefalogram (EEG) og øjenbevægelser blev målt. Forskerne definerede 22 forskellige spilbegivenheder. De psyko-fysiologiske signaler blev opdelt i 3-sekunders segmenter, som blev mærket efter den begivenhed, der fandt sted. Datakvalitetstjek førte til udelukkelse af 18 ud af 31 deltagere og 18 ud af 22 begivenheder. Ved hjælp af uafhængig komponentanalyse (ICA) blev vigtige træk i EEG- og øjensporingsdataene udtrukket og givet til et kunstigt neuralt netværk (ANN) bygget i Encog-rammeværket. Resultaterne blev målt som klassifikationsnøjagtighed og sammenlignet med ANOVA og Kruskal–Wallis ANOVA. Modeller baseret på EEG-kanaler viste signifikante forskelle på tværs af de fire tilbageværende begivenheder (middelværdier 57,94%–67,30%). For øjensporing blev der også fundet signifikante forskelle for to begivenheder (middelværdier 57,78%–69,48%). I gennemsnit på tværs af begivenheder blev der ligeledes fundet signifikante forskelle for både de samlede EEG-nøjagtigheder (middelværdier 59,27%–65,97%) og de samlede øjensporingsnøjagtigheder (middelværdier rapporteret som 59-31%–66,84%). Selvom resultaterne er lovende, er de ikke så stærke som i nogle andre EEG-genkendelsesstudier. Det kan skyldes, at dataene er svære at genkende, og at netværkets struktur kan optimeres yderligere. Samlet peger specialet på, at det er muligt at genkende psyko-fysiologiske mønstre, der hænger sammen med spilbegivenheder, ved hjælp af et neuralt netværk.
This thesis takes steps toward augmented cognition in games by testing whether brain activity and eye movements can reveal what is happening during play. Thirty-one participants played Super Mario while their electroencephalogram (EEG) and eye movements were recorded. Researchers defined 22 types of in-game events. The psychophysiological signals were split into 3-second segments and labeled by the event that occurred. Data quality checks led to the exclusion of 18 of 31 participants and 18 of 22 events. Using Independent Component Analysis (ICA), informative features from EEG and eye-tracking were extracted and fed into an Artificial Neural Network (ANN) built with the Encog framework. Performance was evaluated as classification accuracy and compared using ANOVA and Kruskal–Wallis ANOVA. Models based on EEG channels showed significant differences across the four retained events (mean accuracies 57.94%–67.30%). For eye-tracking, significant differences were found for two events (mean accuracies 57.78%–69.48%). Aggregated analyses across events also showed significant differences for EEG (mean accuracies 59.27%–65.97%) and for eye-tracking (means reported as 59-31%–66.84%). Although these results are promising, they are not as strong as in some other EEG recognition studies. This may be due to the challenging nature of the data and a network design that could be further optimized. Overall, the thesis indicates that neural networks can recognize psychophysiological patterns linked to game events.
[This abstract was generated with the help of AI]
Keywords
Documents
Other projects by the authors