Data-Driven Predictive Control for Robust Walking Assistance of Exoskeletons
Author
He, Qianrun
Term
2. semester
Education
Publication year
2026
Submitted on
2026-05-28
Abstract
This project explores how a lower-limb exoskeleton can anticipate upcoming walking conditions by combining visual perception with wearable sensor data. The focus is on environment perception for walking assistance, using a HoloLens 2 headset to record RGB video that is synchronized with an inertial measurement unit (IMU) and force-sensitive resistors (FSR) mounted near the foot. The perception task is formulated as a three-class classification problem, distinguishing between walking up stairs, walking down stairs, and walking on flat ground. A MobileNetV3-Large visual backbone is first pretrained on a binary stair/flat subset of the StairNet dataset and then transferred to project-specific HoloLens recordings, achieving 96.72% test accuracy on the RGB task. From 14 synchronized sessions, a 3 FPS dataset is built in which each image is paired with nearest IMU and FSR samples and short-window sensor statistics. Fused RGB+sensor configurations achieve up to 95.90% mean test accuracy over multiple random seeds, while an RGB-only model reaches 95.36%, indicating that vision is the primary information source and that IMU and FSR provide only limited complementary gains. Video testing demonstrates stable predictions for stair ascent but reveals that transition frames remain challenging. The main contribution is a reproducible pipeline that exports HoloLens 2 recordings and metadata, constructs both RGB and RGB+IMU+FSR datasets, and trains and evaluates lightweight classification models, while discussing dataset and sensor-fusion limitations. Integration into a full exoskeleton controller and user studies are identified as future work rather than claimed results.
Dette projekt undersøger, hvordan et exoskelet kan forudsige den kommende gangkontekst ved at kombinere visuel information med bærbare sensorer. Fokus er på miljøperception til brug for gangassistance, hvor et HoloLens 2-headset anvendes til RGB-videooptagelse, som synkroniseres med inertimåleenhed (IMU) og kraftfølsomme modstande (FSR) monteret ved foden. Opgaven formuleres som en treklasset klassifikation af gangmiljøet: op ad trapper, ned ad trapper og fladt underlag. Først fortrænes en MobileNetV3-Large billedmodel på et binært stair/flat-delskorpus fra StairNet og overføres derefter til projektspecifikke HoloLens-optagelser, hvor den opnår 96,72 % testnøjagtighed på RGB-opgaven. Ud fra 14 synkroniserede sessioner konstrueres et datasæt ved 3 FPS, hvor hvert billede kobles til nærmeste IMU- og FSR-prøver samt korte tidsvinduesstatistikker. Fusionerede RGB+sensor-konfigurationer opnår op til 95,90 % gennemsnitlig testnøjagtighed over flere seed-forsøg, mens et rent RGB-setup når 95,36 %, hvilket viser, at vision er den dominerende informationskilde, og at IMU og FSR kun giver begrænsede, komplementære forbedringer. Videoafprøvninger viser stabile forudsigelser for trappeopstigning, men overgangsrammer er fortsat udfordrende. Projektets hovedbidrag er en reproducerbar pipeline, der eksporterer HoloLens-video og metadata, bygger både RGB- og RGB+IMU+FSR-datasæt og træner samt evaluerer letvægtsklassifikationsmodeller, samtidig med at begrænsninger i datasæt og sensorfusion diskuteres. Integrationen i en fuld exoskeletkontrol og brugerundersøgelser behandles som fremtidigt arbejde.
[This abstract has been generated with the help of AI directly from the project full text]