Anomaly Detection in Video Streams Using Vision-Language Models
Author
Gohor, Md Shahrior
Term
4. semester
Publication year
2026
Submitted on
2026-09-15
Abstract
This thesis investigates weakly supervised video anomaly detection (WSVAD) using vision-language models (VLMs). Traditional approaches rely mainly on visual features and often use simple single-word labels (e.g., “Abuse”, “Arrest”), which makes it difficult for models to grasp the full context of anomalous events, especially under poor lighting, blur, or unfavorable camera viewpoints. In this work, recent VLMs, including Llama, Qwen2-VL, Llava, and InternVL2, are used to generate dense, rich textual descriptions of both normal and anomalous events in surveillance videos, which are then combined with visual features. The method builds on the CLIP model for strong image–text alignment and an existing framework, VadCLIP, which employs a local-global temporal adapter and a dual-branch architecture to exploit both coarse visual classification and fine-grained vision-language alignment. The thesis modifies VadCLIP by replacing single-word labels with detailed text descriptions generated by different VLMs, using both general class-level descriptions and video-specific descriptions, and integrates these into weakly supervised, MIL-based training. Extensive experiments on the benchmark datasets XD-Violence and UCF-Crime are conducted to examine how dense textual descriptions affect WSVAD performance and which VLM produces the most useful descriptions for different anomalous categories. The findings indicate that rich textual descriptions can play a key role in improving anomaly detection and that choosing the right VLM for the right domain is crucial to achieving optimal performance.
Denne afhandling undersøger svagtsuperviseret video-anomalidetektion (WSVAD) ved hjælp af vision-sprog-modeller (VLM'er). Traditionelle metoder bygger primært på visuelle egenskaber og anvender ofte kun enkle klasseetiketter som enkeltord (fx “Abuse”, “Arrest”), hvilket gør det svært for modellerne at forstå den fulde kontekst omkring en afvigende hændelse, især under dårlige lysforhold, slør eller ugunstige kamerapositioner. I dette arbejde udnyttes nyere VLM'er, herunder Llama, Qwen2-VL, Llava og InternVL2, til at generere tætte og rige tekstbeskrivelser af både normale og anomale begivenheder i videoovervågning, som derefter kombineres med visuelle features. Udgangspunktet er CLIP-modellen, der giver stærk billed-tekst-alignment, og en eksisterende ramme, VadCLIP, som bruger en lokal-global temporal adapter og en dual-branch arkitektur til at udnytte både grove visuelle klassifikationer og fin-granuleret vision-sprog-alignment. Afhandlingen modificerer VadCLIP ved at erstatte enkeltords-etiketter med detaljerede tekstbeskrivelser genereret af forskellige VLM'er, både som generelle beskrivelser pr. klasse og som video-specifikke beskrivelser, og anvender disse i weakly supervised MIL-baseret træning. Der gennemføres omfattende eksperimenter på benchmark-datasættene XD-Violence og UCF-Crime for at undersøge, hvordan tætte tekstbeskrivelser påvirker WSVAD-ydelsen, og hvilken VLM der genererer mest brugbare beskrivelser for forskellige typer anomale klasser. Resultaterne viser, at rige tekstbeskrivelser kan spille en central rolle i forbedret anomalidetektion, og at valg af den rette VLM til den rette domænetype er afgørende for at opnå optimal performance.
[This abstract has been generated with the help of AI directly from the project full text]