Driver Activity Recognition Through Hand Gestures
Authors
Iversen, Joakim ; Mølbak, Tobias Hvass
Term
4. term
Education
Publication year
2017
Submitted on
2017-06-16
Pages
34
Abstract
Genkendelse og overvågning af føreraktiviteter bygger ofte på øje- og irisdetektion, som vurderer førerens blikretning. Færre studier ser på førerens hænder, selv om håndbevægelser afspejler de faktiske handlinger, der styrer bilen. I dette arbejde undersøger vi, hvordan håndbevægelser som at holde rattet eller skifte gear kan bruges til at bestemme, hvad føreren gør. Vi bruger en Leap Motion-controller, en lille optisk sensor, der registrerer hænders position og bevægelser i 3D, monteret i bilens tag umiddelbart over rattet. Ud over at genkende aktiviteter udvikler vi et feedbacksystem, der giver besked på tidspunkter, hvor føreren kan opfatte den uden at forringe kørslen, i stedet for at afbryde med øjeblikkelig feedback uanset situationen. I tests på tværs af 17 evalueringer i to biler med 13 deltagere opnåede systemet en gennemsnitlig nøjagtighed på 85.60 %, og dets forudsigelser stemte godt overens med den faktiske kørsel. I en feltvurdering fandt en køre-uddannelse og 10 almindelige bilister, at feedbackens timing, hyppighed og formulering var passende, og nogle deltagere blev opmærksomme på ubevidste vaner. Resultaterne peger på, at genkendelse af håndbevægelser er en lovende metode til præcist at bestemme førerens aktiviteter og bør undersøges videre.
Driver activity recognition often relies on eye and iris detection to infer where the driver is looking. Far fewer studies focus on the driver’s hands, even though hand movements reflect the actual actions used to control the car. This study examines how hand gestures—such as holding the steering wheel or shifting gears—can be used to identify what the driver is doing. We use a Leap Motion controller, a small optical sensor that tracks hand position and movement in 3D, mounted above the steering wheel. Beyond recognition, we design a feedback system that delivers guidance at moments when the driver can process it without disrupting driving performance, rather than giving immediate feedback in all situations. In tests across 17 evaluations in two cars with 13 participants, the system achieved an average accuracy of 85.60%, and its predictions aligned well with real driving conditions. In a field evaluation, a driving academy and 10 regular drivers found the feedback’s timing, frequency, and wording appropriate, and some participants became aware of unconscious habits. These results suggest that hand-gesture recognition is a viable way to accurately infer driver activities and merits further study.
[This abstract was generated with the help of AI]
Documents