Improving Fall Detection Accuracy using Vision Language Models: Improving Fall Detection Accuracy using Vision Language Models
Translated title
Improving Fall Detection Accuracy using Vision Language Models
Author
Poojary, Taman Shankara
Term
4. semester
Publication year
2026
Abstract
Falls are a major cause of injury and death among older adults, but reliably detecting falls automatically remains difficult. This thesis investigates a two-step method that combines two existing vision models: YOLOv8x and CLIP. First, YOLOv8x is used to find possible regions in video or image data where a fall might have occurred. Then CLIP is used to check each region using short text descriptions (prompts) to decide whether it actually shows a fall. The pipeline is evaluated on three datasets: UR Fall, CAUCAFall, and a custom dataset. Three CLIP variants are compared, and an immune-inspired reinforcement learning approach is used to tune decision thresholds based on separate validation data. The results show that adding CLIP verification is not always helpful: on the custom dataset the F1 score (a combined measure of accuracy) increases from 0.7895 to 0.9329, but it drops on CAUCAFall (from 0.9694 to 0.9237) and becomes much worse on UR Fall (from 0.9753 to 0.6680). The thesis concludes that the benefit of a verification stage depends on how precise the base detector is and how well the text prompts match the kinds of fall situations in the target domain.
Faldulykker er en væsentlig årsag til skader og dødsfald blandt ældre, men det er stadig svært at opdage dem automatisk pålideligt. I denne afhandling undersøges en metode i to trin, der kombinerer to eksisterende billedmodeller: YOLOv8x og CLIP. Først bruger vi YOLOv8x til at finde mulige områder på video- eller billedmateriale, hvor et fald kan være sket. Derefter bruger vi CLIP til at vurdere hvert område ved hjælp af tekstbeskrivelser (såkaldte prompts), for at afgøre, om det virkelig viser et fald. Metoden bliver testet på tre datasæt: UR Fall, CAUCAFall og et speciallavet datasæt. Vi sammenligner tre forskellige versioner af CLIP og bruger en immun-inspireret reinforcement learning-tilgang til at finjustere grænseværdierne baseret på en separat mængde data, der ikke er brugt til træning. Resultaterne viser, at CLIP-verifikationen ikke altid forbedrer systemet: på det speciallavede datasæt stiger F1-scoren (et samlet mål for nøjagtighed) fra 0,7895 til 0,9329, mens den falder på CAUCAFall (fra 0,9694 til 0,9237) og bliver markant dårligere på UR Fall (fra 0,9753 til 0,6680. Afhandlingen konkluderer, at nytten af et ekstra verifikationstrin afhænger af, hvor præcis den oprindelige detektor er, og hvor godt tekstprompterne passer til den type faldsituationer, man vil opdage.
[This abstract has been rewritten with the help of AI based on the project's original abstract]