Optimization of novelty detection through the use of information entropy
Author
Vedel, Rasmus
Term
4. term
Education
Publication year
2024
Submitted on
2024-06-13
Pages
10
Abstract
Moderne neurale netværk kan med høj sikkerhed klassificere velkendte kategorier. Men når de møder noget, der ikke fandtes i deres træningsdata, laver de ofte fejl. Denne afhandling fokuserer på at gøre en tidligere foreslået "outside-the-box" metode til nyhedsdetektion hurtigere i drift. Nyhedsdetektion betyder at opdage input, som afviger fra det, modellen er trænet på (ofte kaldet out-of-distribution). Metoden overvåger de interne lagudgange (de signaler, der opstår inde i netværket) på træningsdata og sammenligner disse mønstre med udgangene for nye input. For at øge hastigheden reduceres antallet af funktioner (dimensioner), der kontrolleres, ved at vælge de mest informative ved hjælp af Shannon-entropi, et mål for uforudsigelighed/informationsindhold. Denne optimering forkorter kørselstiden uden at ændre den grundlæggende fremgangsmåde.
Modern neural networks can label familiar categories with high confidence, but they often fail when faced with inputs not seen during training. This thesis focuses on speeding up a previously proposed "outside-the-box" novelty detection method. Novelty detection aims to flag inputs that differ from the training data (often called out-of-distribution inputs). The method observes the internal layer outputs (the signals produced inside the network) on training data and compares those patterns to the outputs for any new input. To make this faster, it reduces how many features (dimensions) are checked by selecting the most informative ones using Shannon entropy, a measure of unpredictability/information content. This optimization shortens run time without changing the core approach.
[This summary has been rewritten with the help of AI based on the project's original abstract]
Keywords
Documents