Thermal-visible-depth image registration
Translated title
Termisk-visuel-dybde billedregistering
Author
Bahnsen, Chris
Term
4. term
Publication year
2013
Submitted on
2013-06-06
Pages
121
Abstract
Afhandlingen undersøger, hvordan man præcist kan registrere (justere) billeder af den samme scene fra forskellige sensorer for objekter i en afstand på 1–4 meter. Målet er at registrere alle objekter inden for denne afstand. Vi har bygget en hardware- og softwareplatform, der synkront optager visuelle, termiske og dybdebilleder, hvor dybdebilledet som udgangspunkt er registreret til det visuelle billede. Inden for dette område defineres tre testscener. For hver scene bruges en specialbygget termisk–visuel kalibreringsrig til at finde matchende punkter (punktkorrespondancer) mellem de to visninger. Herefter undersøges to metoder til rektificering, dvs. geometrisk transformation af billeder, så tilsvarende punkter kommer til at ligge ud for hinanden: stereorektificering og rektificering med flere homografier (projektive transformationer). Stereorektificering giver dårlige resultater i vores opsætning. Metoden med flere homografier bygger på træningsdata til at generere k homografier og giver bedre nøjagtighed, når punkter fra det visuelle billede skal kortlægges til det termiske, end en baseline med én homografi. Til gengæld fungerer metoden ikke godt i den modsatte retning.
This thesis investigates how to accurately register (align) images of the same scene from different sensors for objects located 1–4 meters from the cameras. The goal is to register all objects within this range. We built a hardware and software platform that captures visual, thermal, and depth images simultaneously, with the depth image aligned to the visual image by default. Within this range, three test scenes are defined. For each scene, a custom thermal–visible calibration rig provides matching points (point correspondences) between the two views. We then examine two rectification methods—geometric transformations that make corresponding points line up: stereo rectification and rectification using multiple homographies (projective transformations). Stereo rectification performs poorly in our setup. The multiple‑homography approach uses training data to generate k homographies and achieves better accuracy when mapping points from the visible image to the thermal image than a baseline that uses a single homography. However, it does not provide good accuracy for the reverse mapping.
[This abstract was generated with the help of AI]
Documents