Prediction of Affective State Using Consumer Graded Hardware and Sensor Fusion
Authors
Pedersen, Brian Frost ; Bender, Anders ; Nielsen, Dennis Bækgaard
Term
4. term
Education
Publication year
2016
Abstract
This thesis investigates whether users’ affective states can be predicted with affordable consumer-grade sensors and sensor fusion, and how such predictions might support usability testing. Two studies were conducted. In the first, 49 participants viewed emotionally evocative images (IAPS) and reported their experience on the dimensions of pleasantness (valence) and intensity (arousal) using the Self-Assessment Manikin while physiological signals were recorded from EEG, skin conductance (GSR), heart rate (HR), and facial/body data (Kinect). Data streams were synchronized with custom software, transformed into features, and classified with a machine learning model (SVM); multi-sensor decision fusion (voting and stacking) was also applied. Both single sensors and fused models achieved significantly higher accuracy than best-case guessing for most valence and arousal groupings; stacking often outperformed single sensors, with noted exceptions. The second study applies these methods to a usability context, exploring whether affective changes can reveal usability problems; detailed outcomes are not included in this excerpt. The work also reflects on limitations, including contextual factors (e.g., environment and participant mood) and the subjectivity and potential unreliability of SAM ratings. Overall, the results indicate that real-time UX measurement with consumer hardware is feasible and promising, but sensitive to context and labeling quality.
Denne afhandling undersøger, om brugeres affektive tilstande kan forudsiges med billigt forbrugergrej og sensorfusion, og hvordan sådanne forudsigelser kan støtte brugertest. To studier blev gennemført. I det første så 49 deltagere følelsesfremkaldende billeder (IAPS) og angav deres oplevelse på dimensionerne behagelighed (valens) og intensitet (arousal) via Self-Assessment Manikin, mens fysiologiske signaler blev målt med EEG, hudledning (GSR), hjerterytme (HR) og ansigts-/kropsdata (Kinect). Data fra sensorerne blev synkroniseret med egen software, omsat til funktioner og klassificeret med en maskinlæringsmodel (SVM); derudover blev flere sensorer kombineret med beslutningsfusion (afstemning og stacking). Både enkeltstående sensorer og fusion opnåede signifikant bedre nøjagtighed end bedste kvalificerede gæt for de fleste grupperinger af valens og arousal; især stacking overgik ofte enkeltsensorer, omend med undtagelser. Det andet studie anvender metoderne i en brugervenlighedskontekst og undersøger, om ændringer i affekt kan afsløre brugbarhedsproblemer; detaljerede resultater fremgår ikke af dette uddrag. Arbejdet reflekterer også over begrænsninger, herunder kontekstuelle forhold (fx miljø og deltagerens humør) samt subjektivitet og mulig upålidelighed i SAM-vurderinger. Samlet set peger resultaterne på, at realtidsmåling af brugeroplevelse med forbrugerhardware er mulig og lovende, men følsom over for kontekst og kvaliteten af mærkningen.
[This apstract has been generated with the help of AI directly from the project full text]