Superintelligens, eksistentiel katastrofe og kontrolproblemet

Superintelligence, Existential Catastrophe, and The Control Problem

Elgaard, Steffen Thrane

4. semester

Anvendt Filosofi, Kandidat

2022

Specialet undersøger begrebet superintelligens, eksistentielle risici og især kontrolproblemet. For at vise problemets presserende karakter gennemgås de samfundsomvæltende effekter af tidligere informationsteknologier (alfabet, bogtrykkerkunst, digitalisering), som peger på, hvor dybtgående en mulig kunstig superintelligens kan påvirke verden. Specialet afklarer, hvad superintelligens er, argumenterer for at kunstig superintelligens er den mest relevante form at kunne kontrollere, og kortlægger veje til eksistentiel katastrofe, hvor en intelligenseksplosion identificeres som den mest plausible. Derefter præsenteres kontrolproblemet og et katalog af løsningsstrategier (bl.a. capability control og motivation selection), som vurderes i en normativ-etisk analyse. Metodisk bygger arbejdet på begrebsafklaring, litteraturgennemgang og analytisk argumentation. Specialet søger ikke empirisk at udpege én korrekt løsning, men undersøger hvilke kontroltilgange der – samtidig med at reducere risikoen for eksistentiel skade – bevarer muligheden for, at en kunstig superintelligens kan udvikle sig til et moralsk handlende væsen. Hovedpåstanden er, at dette hensyn bør være styrende; kontrolmetoder, der udelukker moralsk agens, vil være en alvorlig og potentielt uoprettelig fejl.

This thesis examines superintelligence, existential risk, and, in particular, the control problem. To motivate urgency, it surveys the transformative impacts of prior information technologies (alphabet, printing press, digitalization), underscoring how profoundly an artificial superintelligence (ASI) might reshape the world. The thesis clarifies what superintelligence is, argues that ASI is the most relevant form to control, and maps potential routes to existential catastrophe, identifying an intelligence explosion as the most plausible. It then presents the control problem and a range of proposed solutions (including capability control and motivation selection), which are evaluated through a normative ethical analysis. Methodologically, the work relies on conceptual clarification, literature review, and analytical argument. Rather than selecting a single empirically “correct” solution, it assesses which control approaches can reduce existential risk while preserving the possibility for ASI to develop into a moral agent. The central claim is that this criterion should guide design choices; control methods that foreclose moral agency would be a grave and likely irreversible mistake.

[Dette resumé er genereret med hjælp fra AI direkte fra projektet (PDF)]

Download
Vis denne rapport i AAU Studenterprojekter