Security evaluation and hardening of tool-augmented agentic AI systems
Authors
K C, Bina ; Basyal, Tilak ; Khatri, Bhumika
Term
4. semester
Education
Publication year
2026
Submitted on
2026-10-29
Abstract
This thesis investigates how well current security mechanisms protect agentic AI systems that can use tools to read emails and files, call APIs, and make payments on behalf of users. It focuses on the threat of indirect prompt injection, where attackers hide instructions in data the agent reads, and in particular on agents built with the Model Context Protocol (MCP), where tool descriptions can be provided by third parties and thus form a new attack channel. The work begins with a systematic literature review that maps known prompt injection attacks against tool-augmented agents, proposed defences, how they are evaluated, and remaining research gaps, showing that attacks delivered through the tools themselves have been described but rarely tested empirically. An experimental environment with five MCP servers, 15 tasks, six defences and a baseline without defence is then implemented, and 2,662 runs are carried out using the Qwen3‑8B and Llama‑3.1‑8B language models. The experiments compare attacks hidden in tool outputs with attacks hidden in tool descriptions and evaluate in particular the MELON defence alongside two proposed extensions: a first-step check and a scan of tool descriptions. The results show that poisoned tool descriptions against Qwen3‑8B can be at least as effective as attacks via tool outputs, that MELON fully blocks attacks in tool outputs but often misses attacks in descriptions, and that a simple description scan and an output detector either miss attacks or produce many false positives and reduce usefulness. A tool filter yields the lowest attack success rate with limited loss of functionality, mainly because the poisoned tool is rarely needed, while Llama‑3.1‑8B almost never follows the attacks. Overall, the thesis concludes that defences designed for malicious tool outputs do not reliably protect MCP agents and that tool descriptions must be treated as untrusted input when designing secure agentic AI systems.
Denne afhandling undersøger, hvor godt moderne sikkerhedsforanstaltninger beskytter agentiske AI-systemer, der kan bruge værktøjer til at læse e‑mails og filer, kalde API’er og foretage betalinger på brugerens vegne. Udgangspunktet er truslen fra indirekte prompt injection, hvor en angriber skjuler instruktioner i data, som agenten læser. Særligt fokuseres der på agenter, der bruger Model Context Protocol (MCP), hvor værktøjsbeskrivelser kan leveres af tredjepart og dermed udgør en ny angrebskanal. Først gennemføres et systematisk litteraturreview, som kortlægger kendte angreb og forsvarsmekanismer mod prompt injection i værktøjsaugmented agenter, deres evalueringsmetoder og åbne forskningshuller, og viser at angreb via selve værktøjerne er beskrevet, men stort set ikke empirisk testet. Derefter opbygges et eksperimentelt miljø med fem MCP‑servere, 15 opgaver, seks forsvarsmekanismer samt en baseline uden forsvar, hvor 2.662 kørsler udføres med LLM’erne Qwen3‑8B og Llama‑3.1‑8B. Eksperimenterne sammenligner angreb skjult i værktøjsoutput med angreb skjult i værktøjsbeskrivelser og evaluerer især forsvaret MELON samt to foreslåede udvidelser: et første‑step‑tjek og en scanning af værktøjsbeskrivelser. Resultaterne viser, at forgiftede værktøjsbeskrivelser mod Qwen3‑8B kan være mindst lige så effektive som angreb via værktøjsoutput, at MELON stopper angreb i output, men ofte overser angreb i beskrivelser, og at en simpel beskrivelsesscan og outputdetektor enten misser angreb eller giver mange falske positiver og reducerer nytteværdien. Et værktøjsfilter giver lavest angrebssucces med begrænset tab af funktionalitet, primært fordi det forgiftede værktøj sjældent er nødvendigt, mens Llama‑3.1‑8B næsten aldrig følger angrebene. Samlet peger afhandlingen på, at forsvar, der er udviklet til at håndtere ondsindede værktøjsoutput, ikke tilstrækkeligt beskytter MCP‑agenter, og at værktøjsbeskrivelser konsekvent bør behandles som ikke‑betroet input i designet af sikre agentiske AI‑systemer.
[This abstract has been generated with the help of AI directly from the project full text]