MENNESKE, AI OG AGENTSKAB: Etiske konsekvenser af menneske-AI-relationer

HUMAN, AI AND AGENCY: Ethical Consequences of Human-AI Relationships

Røgilds, Benjamin Mark

4. semester

Anvendt Filosofi, Kandidat

2026

2026-08-03

Denne kandidatafhandling undersøger de etiske konsekvenser ved at tillægge handlekraft (agentskab) til sociale AI-systemer, der er udviklet til selskab fremfor konkrete opgaver. I modsætning til værktøjsorienterede systemer som ChatGPT eller Copilot er sociale AI-kompagnoner designet til at være digitale partnere, hvis personlighed, udseende og grad af intimitet brugeren selv kan tilpasse. Det gør det muligt for brugere at opbygge dybe følelsesmæssige og romantiske relationer til deres AI. Afhandlingen analyserer, hvordan to forskellige filosofiske forståelser af agentskab ændrer de etiske krav, vi bør stille til disse teknologier. Sociale chatbots som Replika og Character.AI bliver stadig mere menneskelignende, både i deres sprog og adfærd. Filosoffen Henry Shevlin har beskrevet denne udvikling som et “anthropomimetisk” skifte, hvor designet målrettet forsøger at få AI-systemer til at fremstå så menneskelige som muligt. Som følge heraf oplever flere brugere, at deres personlige AI har en form for menneskelignende handlekraft. Afhandlingen gennemgår først nyere forskning om forholdet mellem mennesker og AI og viser, hvordan det anthropomimetiske design øger tilbøjeligheden til at tilskrive AI-systemer agentskab. Derudover belyses debatten om, hvorvidt sådanne forhold kan være gode for brugerne, samtidig med at mulige etiske risici – som afhængighed, manipulation og følelsesmæssig skade – skitseres. Herefter fokuserer afhandlingen på to modsat rettede filosofiske teorier om agentskab: Daniel Dennetts Intentional Stance og Charles Taylors teori om Strong Evaluation. Dennett giver en praktisk ramme for at forstå, hvordan brugere ender med at tilskrive AI-systemer intentioner og handlekraft. Når man indtager den såkaldte intentional stance, fortolker man et systems handlinger som udtryk for intentioner og overbevisninger og bruger dette til at forudsige dets opførsel. Ser man agentskab på denne måde, kan man udvikle etiske retningslinjer, der især fokuserer på selve interaktionen mellem bruger og AI: brugerne skal beskyttes mod skadelige, manipulerende eller uansvarlige svar, og relationen skal foregå i et sikkert etisk rum. Taylors teori stiller derimod langt strengere krav til, hvornår noget kan siges at have agentskab. Her kræves en indre evne til kvalitativ selvevaluering – en form for refleksiv vurdering af egne værdier og handlinger – som sociale AI-systemer grundlæggende ikke har. Med denne tilgang er agentskab ikke noget, brugeren rationelt vælger at tilskrive systemet; det opstår i høj grad som effekt af et stadig mere menneskelignende design. De etiske overvejelser flytter sig dermed fra selve interaktionen til designfilosofien bag systemerne. Hvis brugere tilskriver agentskab, fordi systemet virker menneskeligt, bør regulering derfor direkte adressere, hvor menneskeligt AI må fremstå, hvilke emner det må tale om, og hvilke roller det kan indtage. Afhandlingen konkluderer, at valget af agentskabsbegreb grundlæggende ændrer, hvilke etiske kriterier vi anvender på sociale AI-systemer. Med Dennetts ramme får man et klart billede af, hvordan individuelle brugere tilskriver agentskab, og man kan formulere konkrete etiske retningslinjer for ansvarlige menneske–AI-relationer. Med Taylors ramme får man derimod en grundlæggende kritik af, hvordan designvalg påvirker brugerne. Den viser, hvordan et stærkt fokus på at gøre AI så menneskelignende som muligt kan få mennesker til at tilskrive agentskab til systemer, der reelt ikke besidder det. Ureguleret brug af anthropomimetisk design kan dermed føre til uetisk AI-udvikling, hvor jagten på vækst overskygger hensynet til brugernes trivsel. Afhandlingen argumenterer derfor for, at der bør etableres tydelige værn omkring, hvordan menneskelignende design bruges, hvis sociale AI-systemer skal udvikles på etisk forsvarlig vis.

This master’s thesis examines the ethical consequences of attributing agency to social AI systems, which are built for companionship rather than specific tasks. Unlike tool-oriented systems such as ChatGPT or Copilot, social AI companions are designed to act as digital partners whose personality, appearance, and level of intimacy can be customized by the user. This makes it possible for users to develop deep emotional and romantic relationships with their AI. The thesis analyses how two different philosophical understandings of agency change the ethical demands we should place on these technologies. Social chatbots like Replika and Character.AI are becoming increasingly humanlike in both language and behaviour. Philosopher Henry Shevlin has described this trend as an “anthropomimetic” turn, where design choices deliberately aim to make AI systems appear as human as possible. As a result, more users report that their personal AI seems to have humanlike agency. The thesis first reviews contemporary research on human–AI relationships and shows how anthropomimetic design increases the likelihood that users will attribute agency to AI systems. It also presents the wider debate about whether such relationships can be beneficial for users, while outlining possible ethical risks, such as dependency, manipulation, and emotional harm. The analysis then focuses on two contrasting philosophical theories of agency: Daniel Dennett’s Intentional Stance and Charles Taylor’s theory of Strong Evaluation. Dennett provides a practical framework for understanding how users end up ascribing intentions and agency to AI systems. When people adopt the intentional stance, they interpret a system’s behaviour as driven by intentions and beliefs and use this interpretation to predict what it will do next. Viewing agency in this way supports the development of ethical guidelines that concentrate on the interaction itself: users must be protected from harmful, manipulative, or irresponsible responses, and their relationship with the AI should take place in a safe ethical environment. Taylor’s theory, by contrast, sets much stricter conditions for attributing agency. It requires an inner capacity for qualitative self-evaluation – a reflective assessment of one’s own values and actions – which social AI fundamentally lack. In this perspective, agency is not attributed through a deliberate strategic choice by the user; instead, it emerges largely as a consequence of increasingly humanlike design. Ethical attention therefore shifts from interaction to the design philosophy behind these systems. If users attribute agency because the AI appears human, regulation must directly address how humanlike systems may become, what topics they may discuss, and which roles they are allowed to take on. The thesis concludes that the chosen definition of agency fundamentally reshapes the ethical criteria applied to social AI systems. Using Dennett’s framework offers a clear understanding of how individual users attribute agency and provides a basis for drafting concrete ethical guidelines for responsible human–AI relationships. Taylor’s framework, on the other hand, offers a structural critique of how internal design choices affect users. It shows how a strong focus on making AI as humanlike as possible encourages people to attribute agency to systems that do not truly possess it. Unchecked use of anthropomimetic design can therefore result in unethical AI development, where the pursuit of growth outweighs concern for users’ wellbeing. The thesis thus argues that robust safeguards on the use of humanlike design are essential if social AI systems are to be developed ethically.

[Dette resumé er omskrevet med hjælp fra AI baseret på projektets originale resumé]

AI ; AGENTSKAB ; ELIZA ; ETIK ; MENNESKE-AI-RELATIONER ; SOCIAL AI ; RELATIONER

Download PDF
Vis denne rapport i AAU Studenterprojekter