U²OF: Using Saliency Maps And Optical Flow To Mitigate Concept Drift In Thermal Images
Authors
Kocan, Kazim Kerem ; Winter, Laurits
Term
4. term
Publication year
2024
Submitted on
2024-05-31
Pages
106
Abstract
Konceptdrift – ændringer i data over tid – kan forringe ydeevnen for objektdetekteringsmodeller i praksis. Problemet er særligt tydeligt i termiske fodgængeranvendelser, hvor sæsonmæssige ændringer i varmestråling påvirker fodgængeres termiske signaturer. Dette speciale undersøger, om forbehandling af termiske billeder med salienskort og optisk flow kan afbøde denne drift. Den foreslåede U2OF-pipeline beregner salienskort med U2Net og bevægelsesspor med Gunnar Farnebäck optisk flow, stakker disse kanaler oven på det oprindelige termiske billede og anvender dem i en YOLOv5-baseret fodgængerdetektor. Sammenlignet med baselines gav metoden ikke markante forbedringer i standardmålinger, men ablationsstudier indikerer højere detektionssikkerhed og flere ekstra detektioner, hvoraf nogle ser ud til at være ikke-annoterede fodgængere, hvilket straffer resultaterne uforholdsmæssigt. Kvalitative observationer tyder på forbedret detektion af både små og store fodgængere. Yderligere arbejde er nødvendigt for at bekræfte disse effekter kvantitativt og klarlægge, om metoden faktisk afbøder konceptdrift.
Concept drift—changes in data over time—can degrade the performance of object detection systems in real deployments. This is particularly acute for thermal pedestrian detection, where seasonal variation in scene radiation alters pedestrian thermal signatures. This thesis examines whether preprocessing thermal frames with saliency maps and optical flow can mitigate such drift. The proposed U2OF pipeline computes saliency maps with U2Net and motion cues with Gunnar Farnebäck optical flow, stacks these channels with the original thermal image, and uses them in a YOLOv5-based pedestrian detector. Compared to baselines, the approach did not yield significant improvements in standard metrics, but ablation studies indicate higher detector confidence and many additional detections, some seemingly unannotated pedestrians that disproportionately penalize results. Qualitative evidence suggests better detection of both small and large pedestrians. Further work is needed to confirm these effects quantitatively and determine whether the method mitigates concept drift.
[This summary has been generated with the help of AI directly from the project (PDF)]
Keywords
AI ; Concept drift ; vision ; YOLO ; saliency ; domain adaptation ; optical flow ; thermal images ; tir ; thermal infrared
Documents