Real-Time AI-Based Image Processing Architectures for Lower-Limb Exoskeleton Control
Author
Chaudhry, Muhammad Hashim
Term
4. term
Publication year
2026
Submitted on
2026-06-04
Abstract
This thesis explores how a lower-limb exoskeleton—a wearable robotic device—can use a small forward-facing camera and efficient on-device AI to decide in real time whether the user will ascend or descend stairs. Getting this decision right matters because the exoskeleton must switch gait modes, and a mistake at a staircase could trigger the wrong mode. We build a simple two-class image classifier and compare three lightweight neural network designs (ResNet-18, MobileNet v3 Small, and YOLOv8 nano-cls). All models are trained from scratch under the same recipe on the ExoNet stair subset, exported to ONNX (an open format for AI models), and run on a Raspberry Pi 4 to measure accuracy, speed (latency), energy use, and model size. The models achieve similar accuracy (MobileNet 95.96%, ResNet-18 95.93%, YOLOv8 94.23%). We recommend MobileNet v3 Small because it matches the best accuracy while delivering the fastest per-image processing (20.89 ms), the lowest energy use (124 mJ), and a compact model size (6.09 MB). An accompanying business and regulatory review points to the same choice, aligning technical performance with commercial and compliance considerations.
Denne afhandling undersøger, hvordan et eksoskelet til benene – et bærbart robotsystem – kan bruge et lille fremadrettet kamera og effektiv AI på enheden til i realtid at afgøre, om brugeren er på vej til at gå op eller ned ad en trappe. Det korrekte valg er vigtigt, fordi eksoskelettet skal skifte gangmønster, og en fejl ved en trappe kan udløse den forkerte tilstand. Vi bygger en enkel to-valgs billedklassifikator og sammenligner tre letvægts neurale netværk (ResNet-18, MobileNet v3 Small og YOLOv8 nano-cls). Alle modeller trænes fra bunden efter samme opskrift på ExoNet-trappesættet, eksporteres til ONNX (et åbent format for AI-modeller) og køres på en Raspberry Pi 4 for at måle nøjagtighed, hastighed (latenstid), energiforbrug og modelstørrelse. Modellerne ligger tæt i nøjagtighed (MobileNet 95,96 %, ResNet-18 95,93 %, YOLOv8 94,23 %). Vi anbefaler MobileNet v3 Small, fordi den matcher den bedste nøjagtighed og samtidig giver hurtigst beregning per billede (20,89 ms), lavest energiforbrug (124 mJ) og en kompakt modelstørrelse (6,09 MB). En tilhørende forretnings- og regulatorisk analyse peger på samme anbefaling, så tekniske, kommercielle og compliance-hensyn er på linje.
[This abstract has been rewritten with the help of AI based on the project's original abstract]