Robot Gesture Recognition
Author
Caniglia, Fabio
Term
4. term
Publication year
2011
Pages
45
Abstract
Dette speciale undersøger, hvordan man kan opnå intuitiv menneske‑robot interaktion ved at genkende dynamiske armbevægelser uden handsker eller markører og under varierende baggrund og belysning. Projektets forskningsspørgsmål er at designe og implementere et visionsbaseret system, der i realtid kan identificere et lille sæt kommandoer til robotstyring. Systemet bruger en Kinect-dybdemodel og OpenNI til personuafhængig kropssporing i et XYZ-koordinatsystem. Fem grundkommandogestus er defineret (stop, kom her/gå tilbage, drej venstre, drej højre, gå væk/frem), understøttet af positurer og de frame-for-frame ændringer i hånd- og albuepositioner. Disse variationsdata fodres til en endelig tilstandsautomat (FSA) for at udføre selve genkendelsen. Rapporten beskriver hardware- og softwarekomponenter, billedoptagelse, forbehandling, feature-ekstraktion, gestusgenkendelse samt en brugergrænseflade. Systemet er evalueret med tests af gestusgenkendelse og praktisk robotkørsel under realistiske forhold; detaljer om resultater, begrænsninger og årsager til fejl præsenteres i senere kapitler. Ved at udnytte dybdedata søger løsningen at være robust over for komplekse baggrunde og uensartet belysning og dermed gøre robotstyring mere enkel og naturlig.
This thesis explores how to achieve intuitive human–robot interaction by recognizing dynamic arm gestures without gloves or markers and under varying backgrounds and lighting. The research question is to design and implement a vision-based system that can identify a small set of robot control commands in real time. The system uses a Kinect depth camera and the OpenNI framework for person-independent body tracking in an XYZ coordinate space. Five base command gestures are defined (stop, come here/go back, turn left, turn right, go away/go ahead), supported by pose definitions and frame-by-frame changes in hand and elbow positions. These variation features feed a finite state automaton (FSA) to perform the gesture recognition. The report details the hardware and software components, image acquisition, pre-processing, feature extraction, gesture recognition, and a user interface. The system is evaluated through gesture recognition tests and practical robot driving under realistic conditions; detailed results, limitations, and reasons for failures are presented in later chapters. By leveraging depth data, the approach aims to be robust to complex backgrounds and uneven illumination, making robot control simpler and more natural.
[This summary has been generated with the help of AI directly from the project (PDF)]
Keywords
Documents