Drone based 3D Area Localization
Authors
Berner, Beda Xaver Alexander ; Ravichandran, Rahul
Term
4. semester
Education
Publication year
2021
Submitted on
2021-06-03
Pages
82
Abstract
Drones are now used for tasks such as monitoring wildfires and floods. Highlighting areas in drone images is informative, but users still have to link the 2D picture to real-world 3D locations. A better approach is to attach findings directly to precise ground positions. During an internship at Robotto, the authors developed an algorithm to detect and map wildfires. The earlier approach projected image detections onto an assumed flat ground plane, but its accuracy was not sufficient. This thesis presents an improved method: it represents an affected area seen in many consecutive images as a 3D point cloud by tracking distinctive landmarks along the area’s boundary. Using Kalman filtering, a mathematical technique that fuses noisy measurements over time, it estimates each landmark’s 3D position and anchors the map in the real world. The method was tested in a state-of-the-art simulation and showed promising results. It processes images sequentially and starts producing outputs early, so with optimization it could run on the fly on board and support the drone’s path planning. Unlike traditional photogrammetry, it does not require the full dataset before processing begins.
Droner bruges i dag til alt fra overvågning af naturbrande til håndtering af oversvømmelser. At markere områder direkte i dronebilleder giver nyttig viden, men brugeren må selv koble 2D-billedet til den virkelige 3D-verden. Det er derfor bedre at knytte informationen til præcise positioner på jorden. Under et praktikophold hos Robotto udviklede forfatterne en algoritme til at opdage og kortlægge naturbrande. Den daværende metode projicerede fund fra billedet ned på en antaget plan jordflade, men nøjagtigheden var utilstrækkelig. Afhandlingen præsenterer en forbedret løsning: Et område, der ses i mange efterfølgende billeder, beskrives som en 3D-punktsky ved at spore særprægede fikspunkter langs områdets kant. Ved hjælp af Kalman-filtrering, en matematisk metode der kombinerer usikre målinger over tid, estimeres hver fikspunkts 3D-position og forankrer kortet i den fysiske verden. Metoden blev testet i en moderne simulering og viste lovende resultater. Den behandler billeder løbende og begynder at levere resultater tidligt, så den med optimering kan køre i realtid ombord og støtte droneens ruteplanlægning. I modsætning til fotogrammetri behøver den ikke hele datasættet, før behandlingen kan starte.
[This apstract has been rewritten with the help of AI based on the project's original abstract]
Keywords