Thermal-visible-depth image registration

Bahnsen, Chris

4. term

Vision, Graphics and Interactive Systems, Master

2013

2013-06-06

121 pages

Dette speciale tager udgangspunkt i problemstillingen med at registrere multi-modale billedsekvenser indenfor en rækkevidde på 1 -- 4 m. Rapporten tager udgangspunkt i at registrere alle objekter inden for dette område. Hertil er der konstrueret en platform i både hardware og software der muliggør en synkroniseret optagelse af visuelle-, termiske- og dybdebilleder. Dybdebillederne er som udgangspunkt registeret til de visuelle billeder. Tre scener er defineret inden for den ønskede rækkevidde. Punktkorrespondancer mellem hver modalitet er genereret ved hjælp af specialkonstrueret kalibreringsudstyr. To registreringsalgoritmer er blevet undersøgt og testet ved hjælp af de generede punktkorrespondancer: Stereorektificering og rektificering ved flere homografier. Tests viser dog, at stereorektificering giver dårlige resultater. Rektificeringen ved flere homografier bygger på de generede træningsdata, hvorpå $k$ homografier er estimeret. Disse homografier bruges til at overføre punkter mellem modaliteterne. Det viser sig, at denne metode giver en større nøjagtighed ved overførslen af punkter fra visuelle til termiske billeder end referencemetoden, der bruger en enkelt homografi. Imidlertid er metoden ikke i stand til at skabe den samme nøjagtighed ved den modsatte overførsel.

This thesis deals with the problem of obtaining an accurate registration for objects in multi-modal imagery within the range of 1 -- 4 m. The work focuses on providing a registration for all objects inside the range. An acquisition platform is built in both hardware and software that enables the synchronized capture of visual, thermal, and depth images. The depth image is by default registered to the visual image. Three scenes within the range are defined. For each scene, a custom-built thermal-visible calibration rig is used to provide point correspondences between the views. Two rectification algorithms have been investigated and tested by the use of the generated point correspondences; stereo rectification and rectification by multiple homographies. The stereo rectification is however shown to provide poor results. The rectification by multiple homographies is based on training data to generate $k$ homographies which are used to map points between the thermal and visible modalities. This method is shown to provide a better accuracy of mapping visible points to the thermal modality than the baseline of a single homography. However, the method falls short on providing the opposite transfer.

Download
View record in AAU Student Projects