Predicting Peer-Perceived Dominance in Small-Group Interaction: Does Wrist Physiology Add to Observable Speech Cues?
Author
Obara, Anna
Term
4. Term
Education
Publication year
2026
Submitted on
2026-08-26
Abstract
This thesis investigates whether wrist-worn physiological sensing can improve automatic prediction of who is perceived as dominant in small-group interactions, beyond what is already available from observable speech behaviour. It is grounded in multimodal affective computing, where adding sensing channels is often assumed to enhance inference, but where each modality must justify its inclusion by providing information not already captured by cheaper, more directly observable cues. The study uses a multimodal corpus of ten co-located four-person groups (40 participants) engaged in collaborative decision-making tasks. For each participant, the averaged peer rating of social dominance is predicted from nested feature sets covering conversational-floor dynamics (e.g., speaking time, turn-taking, interruptions), acoustic prosodic functionals based on eGeMAPS, wrist-based electrodermal and pulse physiology, and Big Five personality traits. The dominance target is validated for inter-rater reliability (ICC(3)=0.60), and all models are evaluated using a leakage-safe leave-one-group-out protocol in which both groups and individuals are disjoint between training and test folds. The results show that conversational-floor features alone are the strongest predictor (out-of-fold r = 0.44), while adding acoustic prosodic features yields only minor gains. Wrist physiology does not provide a reliable stand-alone signal and does not improve performance over the speech-based baseline, and time-invariant personality measures are likewise non-predictive of peer-perceived dominance. The thesis thus offers a well-controlled null result for wrist physiology in the context of active small-group interaction, conditioned on a strong speech baseline and the practical limits of wrist sensing, and highlights that adding more modalities does not automatically lead to better multimodal systems.
Denne afhandling undersøger, om fysiologiske målinger fra håndleddet kan forbedre automatiske forudsigelser af, hvem der opleves som dominerende i små gruppeinteraktioner, ud over hvad der allerede kan ses og høres i taleadfærd. Udgangspunktet er multimodal affective computing, hvor flere sensorkanaler antages at give bedre inferens, men hvor hver ny modalitet kun er berettiget, hvis den tilfører information, der ikke allerede er tilgængelig via billigere og mere observerbare signaler. Studiet bygger på et korpus med ti firepersoners grupper (40 deltagere), der gennemfører kollaborative beslutningsopgaver ansigt-til-ansigt. For hver deltager forudsiges et gennemsnitligt peerrating-mål for social dominans på baggrund af indlejrede featuresæt, der omfatter conversational-floor adfærd (f.eks. taletid, turbytte og afbrydelser), akustiske prosodiske funktioner (eGeMAPS), elektrodermal aktivitet og pulsfysiologi målt ved håndleddet samt Big Five-personlighedstræk. Dominansmålet valideres for interbedømmer-overensstemmelse (ICC(3)=0,60), og alle modeller evalueres med en lækagesikker leave-one-group-out protokol, hvor både grupper og individer er disjunkte mellem træning og test. Resultaterne viser, at conversational-floor features alene er den stærkeste prediktor (out-of-fold r = 0,44), mens tilføjelse af akustiske prosodiske funktioner kun giver begrænset forbedring. Håndledsfysiologi bidrager ikke med et stabilt signal i sig selv og øger heller ikke præcisionen i forhold til talebaselinjen, og de tidsinvariante personlighedsdata er ligeledes ikke prædiktive for peer-opfattet dominans. Afhandlingen leverer dermed en velkontrolleret null-resultat for håndledsfysiologi under aktive interaktioner, betinget af den stærke talebaseline og de praktiske målebegrænsninger ved håndledssensing, og understreger, at flere modaliteter ikke automatisk gør multimodale systemer bedre.
[This abstract has been generated with the help of AI directly from the project full text]
Keywords