Fault Injection Detection in Deep Neural Networks Using Multi-Layer Internal States and Support Vector Data Description
Author
Kabir, Humayun
Term
4. semester
Education
Publication year
2026
Submitted on
2026-10-30
Abstract
Fault-injection attacks can deliberately change parameters in Deep Neural Networks (DNNs) and disrupt their internal computations, which may cause the system to make wrong predictions. This thesis studies how to detect such faults when they appear as bit-flips (changes of individual bits) in DNN parameters. The proposed method uses statistical features extracted from internal network activations – that is, from the intermediate values the network computes while processing input. For detection, the thesis employs Support Vector Data Description (SVDD), trained only on fault-free runs so it can recognize abnormal behaviour during later inference. The approach is evaluated using the ResNet-20 model and the CIFAR-10 image dataset, and tested across different numerical precisions, fault injection locations, bit positions, and fault intensities. Several monitoring strategies are compared: joint monitoring across multiple layers, per-layer monitoring, single-layer monitoring, and monitoring of selected subsets of layers. The work also includes experiments where individual statistical features are removed (feature ablation) and repeated fault-injection trials to study robustness. At a configuration that allows 1% false alarms, the average detection recall was 12.33% for FP32, 11.82% for FP16, 14.87% for FP8, and 0.50% for INT8. INT2 achieved 100% recall but also produced 100% false alarms, making it unusable in practice. In the INT8 evaluation, joint multi-layer monitoring reached higher detection recall than combined per-layer approaches at a 5% false-alarm threshold. The feature ablation and repeated experiments further show that detection performance depends both on which statistical features are used and on how much the injected faults vary.
Fejlindsprøjtningsangreb kan bevidst ændre parametre i dybe neurale netværk (DNN) og forstyrre de interne beregninger, så systemet kan komme frem til forkerte forudsigelser. Denne afhandling undersøger, hvordan man kan opdage sådanne fejl, når de optræder som bit-flips (ændringer af enkelte bits) i DNN‑parametrene. Metoden bygger på statistiske kendetegn, der udtrækkes fra de interne aktiveringer i netværket – altså de mellemregninger, netværket laver, når det behandler input. Til selve detektionen anvendes Support Vector Data Description (SVDD), som trænes på fejlfrie kørseler, så den kan genkende afvigende adfærd under senere beregninger (inference). Til evalueringen bruges netværksmodellen ResNet‑20 og billeddatasættet CIFAR‑10, og der testes på tværs af forskellige talpræcisioner, steder hvor fejl injiceres, bitpositioner og styrken af fejlene. Der sammenlignes flere overvågningsstrategier: samlet overvågning på tværs af flere lag, overvågning lag‑for‑lag, enkeltlags‑overvågning og overvågning af udvalgte lag. Der gennemføres også forsøg, hvor enkelte statistiske features fjernes (feature ablation), samt gentagne fejlindsprøjtninger for at undersøge robusthed. Ved en indstilling, der tillader 1 % falske alarmer, var den gennemsnitlige detektionsrate (recall) 12,33 % for FP32, 11,82 % for FP16, 14,87 % for FP8 og 0,50 % for INT8. INT2 gav 100 % detektion, men også 100 % falske alarmer og er derfor ikke brugbar i praksis. I INT8‑forsøgene opnåede samlet multi‑lagsovervågning højere detektionsrate end en kombination af individuelle lag‑baserede tilgange ved en 5 % falsk‑alarmgrænse. Undersøgelserne af feature ablation og gentagne eksperimenter viser desuden, at detektionsydelsen afhænger både af, hvilke statistiske features der vælges, og af hvor meget fejlene varierer.
[This abstract has been rewritten with the help of AI based on the project's original abstract]
Keywords