Context-Aware navigation and Semantic Perception for Intra-factory Logistics
Authors
Bilal, Wallat ; Jacobsen, Rasmus Lilholt
Term
4. semester
Education
Publication year
2025
Abstract
This thesis investigates how a service robot can perform context-aware navigation from human commands (voice or text) in an intra-factory setting. It addresses how a robot can understand a given command and translate it into a navigation task by combining semantic mapping, object detection, natural language processing, and a ROS2/NAV2-based navigation stack. The system builds a semantic map by identifying and clustering objects and infers room labels using an ontology. Commands are processed by an NLP component that extracts relevant keywords and matches them to locations via the semantic map and ontology, after which the robot navigates to the requested area and searches for objects. The solution is evaluated in a simulated environment and shows that the robot can handle mid-level context-aware tasks. The work notes limitations such as the need to stop to record object poses and reliance on center-point navigation targets, and outlines future improvements including more advanced scene understanding, dynamic goal selection, and object search behaviors.
Denne afhandling undersøger, hvordan en servicerobot kan udføre kontekstbevidst navigation ud fra menneskelige kommandoer (tale eller tekst) i et intra-fabriks miljø. Projektet adresserer spørgsmålet om, hvordan en robot kan forstå en given kommando og omsætte den til en navigationsopgave, ved at kombinere semantisk kortlægning, objektdetektion, naturlig sprogbehandling og en ROS2/NAV2-baseret navigationsstack. Systemet opbygger et semantisk kort ved at identificere og klustre objekter og afleder rumnavne via en ontologi. Kommandoer behandles af en NLP-komponent, som udtrækker relevante nøgleord og matcher dem til positioner ved hjælp af kortet og ontologien, hvorefter robotten navigerer til den ønskede lokation og leder efter objekter i området. Løsningen er afprøvet i et simuleret miljø og demonstrerer, at robotten kan håndtere kontekstbevidste opgaver på mellemniveau. Rapporten peger på begrænsninger såsom behovet for at stoppe for at registrere objektpositioner og brugen af centerpunkter som navigationsmål, samt skitserer forbedringsmuligheder som mere avanceret sceneforståelse, dynamisk målvalg og objektsøgning.
[This apstract has been generated with the help of AI directly from the project full text]