Design and Evaluation of an AI-Based Conversational System for Software Security and Policy Compliance in a University Network: A User-Centred Design and Prototype Evaluation Study
Translated title
Design and Evaluation of an AI-Based Conversational System for Software Security and Policy Compliance in a University Network
Author
Tonmoy, Shaikh Toriqul Islam
Term
4. term
Publication year
2026
Submitted on
2026-06-04
Pages
70
Abstract
This thesis explores how a conversational AI (a chatbot) can support university users in understanding IT guidelines. Students and staff often struggle to interpret rules on installing software, classifying data (for example, what counts as sensitive information), and how to respond to phishing. This uncertainty can lead to unsafe digital behavior. The study uses a design‑oriented, exploratory qualitative approach that combines interviews, document and scenario analysis, prototyping, and evaluation. A knowledge base optimized for Retrieval‑Augmented Generation (RAG) was built from AAU’s IT security policies, enabling semantic retrieval of relevant passages and policy‑aligned answers. Safety features include a confidence threshold (the system answers only when sufficiently certain), boundary‑aware behavior (it declines questions outside its scope), and clear escalation pathways to human support. The prototype was evaluated with participants using the Technology Acceptance Model (TAM) to assess perceived usefulness and ease of use, alongside a think‑aloud protocol. Findings show strong user acceptance: participants affirmed the system’s usefulness, ease of use, and trustworthiness. The study concludes that RAG‑based conversational frameworks can turn dense, static compliance documents into accessible, real‑time guidance.
Specialet undersøger, hvordan en samtalebaseret AI (en chatbot) kan støtte studerende og ansatte på universitetet i at forstå IT‑retningslinjer. Mange har svært ved at tolke regler for softwareinstallation, klassificering af data (fx hvad der er følsomme oplysninger) og, hvad man skal gøre ved phishing-forsøg. Denne usikkerhed kan føre til risikabel digital adfærd. Studien følger en designorienteret, eksplorativ kvalitativ tilgang og kombinerer interviews, dokument- og scenarieanalyse, prototyper samt evaluering. Der blev opbygget en vidensbase optimeret til Retrieval‑Augmented Generation (RAG) ud fra AAU’s it‑sikkerhedspolitikker. Det gør det muligt at finde relevante tekststykker (semantisk hentning) og give svar, der er i overensstemmelse med politikkerne. Sikkerhedsmekanismerne omfatter en konfidens‑tærskel (systemet svarer kun, når det er tilstrækkeligt sikkert), grænsebevidst adfærd (afviser spørgsmål uden for scope) og klare eskaleringsveje til menneskelig support. Prototypen blev evalueret med deltagere ved hjælp af Technology Acceptance Model (TAM) til at vurdere oplevet nytte og brugervenlighed samt en tænke‑højt‑protokol. Resultaterne viser stærk brugeraccept: Deltagerne validerede i høj grad systemets nytte, nemme anvendelse og troværdighed. Konklusionen er, at RAG‑baserede samtaleløsninger effektivt kan omsætte tætte, statiske compliance‑dokumenter til tilgængelig vejledning i realtid.
[This apstract has been rewritten with the help of AI based on the project's original abstract]
Keywords