Human-AI collaboration in Safety-critical Operational Decision-making
Author
Ashour, Nabeel Faris
Term
4. term
Publication year
2026
Submitted on
2026-06-04
Pages
121
Abstract
Generative AI-based decision-support systems are moving into safety-critical energy sector control rooms, where miscalibrated operator reliance can have serious consequences. This thesis examines how organisational and governance structures shape the responsible adoption and effective operational integration of such systems. The study draws on three semi-structured interviews with two energy-sector practitioners in Denmark and Germany and an AI security researcher at Aalborg University, analysed using reflexive thematic analysis. Four findings are central: (1) trust calibration toward operational AI forms before deployment, (2) organisational absorptive capacity is a prerequisite for appropriate reliance and precedes operator training and governance development, (3) integration failure is primarily a governance problem, and (4) skill degradation represents an organisational governance risk. These findings are exploratory, based on purposive sampling of three participants, and are presented as conceptual contributions that require broader empirical validation. Based on these insights, the thesis supports a governance readiness model in which responsible and effective integration depends on the sequential achievement of technical, organisational, and governance readiness, with governance prerequisites resolved before operational integration.
Generative AI-baserede beslutningsstøttesystemer er på vej ind i sikkerhedskritiske kontrolrum i energisektoren, hvor fejlkalibreret operatortillid kan få alvorlige konsekvenser. Denne afhandling undersøger, hvordan organisatoriske og styringsmæssige strukturer former ansvarlig adoption og effektiv operationel integration af sådanne systemer. Undersøgelsen bygger på tre semistrukturerede interviews med to praktikere i energisektoren i Danmark og Tyskland samt en AI-sikkerhedsforsker ved Aalborg Universitet og analyseres gennem refleksiv tematisk analyse. Fire centrale resultater fremhæves: (1) tillidskalibrering til operationel AI begynder allerede før implementering, (2) organisatorisk absorptionskapacitet er en forudsætning for passende afhængighed og går forud for operatørtræning og styringsudvikling, (3) integrationsfejl er primært et styringsproblem, og (4) færdighedsforringelse udgør en organisatorisk styringsrisiko. Resultaterne er eksplorative, baseret på formålsbestemt udvælgelse af tre deltagere, og præsenteres som konceptuelle bidrag, der kræver bredere empirisk validering. På denne baggrund støtter afhandlingen en styringsparathedsmodel, hvor ansvarlig og effektiv integration forudsætter sekventiel opnåelse af teknisk, organisatorisk og styringsmæssig parathed, og hvor styringsforudsætninger skal være på plads, før systemerne integreres i driften.
[This apstract has been generated with the help of AI directly from the project full text]