Danish Sign Language Recognition in Virtual Reality Using Written Language Ensemble Learning
Author
Leth, Peter Guld
Term
4. term
Education
Publication year
2023
Pages
23
Abstract
Dette speciale udvikler og evaluerer et multimodalt, ensemble-baseret system til tegnsprogsgenkendelse (SLR) samt en brugergrænseflade i Virtuel Virkelighed (VR). SLR-systemet kombinerer to spor: (1) en n-gram lineær klassifikator fra naturlig sprogbehandling, der modellerer mønstre i korte sekvenser, og (2) en gestusgenkender, der koder bevægelser som vektorer og sammenligner dem med euklidisk afstand (et almindeligt mål for lighed). En fusionstilgang samler derefter resultaterne. VR-grænsefladen er designet med udbredte brugervenlighedsheuristikker som rettesnor. Forsøg viser en gennemsnitlig klassifikationsnøjagtighed på 41,5% for SLR-systemet, hvilket ligger klart under de bedste resultater i dag, og VR-grænsefladen giver ikke tilstrækkelig tilpasningsevne (evnen til at tilpasse sig forskellige brugere eller kontekster). Specialet peger på flere måder at forbedre hver komponent og kan dermed støtte fremtidige forbedringer.
This thesis develops and evaluates a multimodal, ensemble Sign Language Recognition (SLR) system and a Virtual Reality (VR) user interface. The SLR system combines two sources: (1) an n-gram linear classifier from Natural Language Processing that models short-sequence language patterns, and (2) a gesture recognizer that encodes movements as vectors and compares them using Euclidean distance (a common way to measure similarity). A fusion method then merges these outputs. The VR interface is designed using widely adopted usability heuristics. Experiments show a mean classification accuracy of 41.5% for the SLR system, which is clearly below current state-of-the-art results, and the VR interface does not provide sufficient adaptability (the ability to adjust to different users or contexts). The thesis outlines multiple avenues to improve each component, with the aim of informing and supporting future work.
[This summary has been rewritten with the help of AI based on the project's original abstract]
Documents