End-to-End Sensorimotor Learning for Automated Docking in CARLA: Implementation and Closed-Loop Evaluation of a Multimodal Imitation Learning Pipeline
Translated title
End-to-End Sensorimotor Learning for Automated Docking in CARLA
Author
Capela Serra, Pedro Afonso
Term
4. semester
Education
Publication year
2026
Submitted on
2026-06-04
Abstract
This thesis presents a complete end-to-end learning setup for automated vehicle docking in the CARLA driving simulator. The work focuses on a U-Shift vehicle scenario, where a driverless vehicle module must approach and dock with a separate cargo box. To enable this, a custom simulation environment was created: the vehicle and cargo box were modeled, a multimodal sensor system was set up (including cameras, LiDAR distance sensing, and vehicle state measurements), and a ROS2-based interface was developed for both data collection and closed-loop control (the system continuously observes sensor data and adjusts steering and speed). Training data were collected in two ways: through manual teleoperation of the vehicle and through a geometric expert controller that follows an ideal, precomputed path. These demonstration runs are used to train a neural network control policy via imitation learning, where the model learns to mimic the expert behavior. The learned policy takes RGB images, LiDAR information, and vehicle state features as input, and outputs steering angles and normalized signed speed commands (forward/reverse and magnitude). Docking performance is evaluated in CARLA in closed loop under varying conditions: different sensor configurations, different training datasets, varied spawn (start) positions, and changes in the visual appearance of the environment. The thesis contributes a full pipeline from simulation through data generation and learning to evaluation of end-to-end sensorimotor docking, and it highlights practical challenges related to dataset creation, multimodal learning, and deploying a learned controller reliably in closed-loop operation.
Dette speciale beskriver en samlet, automatiseret læringsproces til at få et køretøj til at dokke (koble præcist til en lastboks) i trafiksimulatoren CARLA. Fokus er på et U-Shift køretøj, hvor det selvdrevne køretøjsmodul skal køre hen til og koble sig på en separat lastboks. For at undersøge dette er der opbygget et specialdesignet simuleringsmiljø: køretøj og lastboks er modelleret, der er opsat flere typer sensorer (kameraer, LiDAR-afstandsmåler og måling af køretøjets tilstand), og der er udviklet en ROS2‑baseret grænseflade til både at indsamle data og styre køretøjet i en lukket reguleringssløjfe (systemet ser sensordata og justerer styring og hastighed løbende). Data til træning er indsamlet på to måder: dels ved manuel fjernstyring (teleoperation) af køretøjet, dels ved hjælp af en geometrisk “expert controller”, som følger en ideel, forudberegnet bane. Disse demonstrationsdata bruges til at træne en neuralt netværks‑baseret styrepolitik gennem imitation learning, hvor modellen lærer at efterligne de gode eksempler. Den lærte politik tager som input RGB‑billeder, LiDAR‑information og køretøjets tilstandsdata og omsætter det til styrevinkel og normaliserede, fortegnede hastighedskommandoer (fremad/bak og hvor hurtigt). Dockingevnen testes i CARLA i lukket sløjfe under forskellige betingelser: ændrede sensorkonfigurationer, forskellige træningsdatasæt, varierende startpositioner og visuelle ændringer i omgivelserne. Specialet leverer dermed en komplet kæde fra simulering over datagenerering og læring til evaluering af end‑to‑end sensor‑motorisk docking. Det peger samtidig på praktiske udfordringer med at lave gode datasæt, kombinere flere sensortyper i én model og få en læringsbaseret løsning til at fungere stabilt i løbende styring.
[This abstract has been rewritten with the help of AI based on the project's original abstract]