Mitigating Bias in AI-supported Decision-making: Ophthalmologists Perceptions of Bias Mitigation Strategies in Detecting Diabetic Retinopathy

Nørgaard, Trine Munch ; Bach, Anne Kathrine Petersen ; Brok, Jens Christian

4. Term

Interaction Design, Master of Science (MSc)

2022

2022-05-31

27

Kunstig intelligens (AI) indgår i stigende grad i kliniske beslutningsstøttesystemer (CDSS) – værktøjer der hjælper klinikere med diagnoser og behandlingsvalg. Det kan lette arbejdsbyrden, men måden AI-resultater præsenteres på kan skabe kognitive bias – mentale genveje, der kan farve vurderinger – og dermed svække den diagnostiske nøjagtighed. Vi undersøgte, hvordan øjenlæger forholder sig til at indarbejde tre strategier, der skal modvirke sådanne bias, i deres nuværende AI-understøttede CDSS-arbejdsgang. Til formålet udviklede vi en interaktiv prototype, der indeholdt strategierne, og gennemførte individuelle, kvalitative evalueringer med seks øjenlæger for at forstå, hvordan de vurderede nytten i praksis. Øjenlægerne så et potentiale for, at strategierne kunne forbedre den diagnostiske nøjagtighed. Nogle vurderede dog, at rutinemæssig brug var urealistisk, fordi klinisk arbejde kræver effektivitet, og fordi nutidens AI har begrænsede evner. Den oplevede nytte ændrede sig også med opgavernes kompleksitet, som havde stor betydning for, hvilke strategier der virkede hjælpsomme. Mange opfattede strategierne som forsigtighedstiltag, og nogle var skeptiske, fordi de ser sig selv som eksperter, der overgår automatiserede løsninger. Samlet peger resultaterne på spændinger mellem nøjagtighed og effektivitet, AI’s begrænsninger, opgavekompleksitet og professionel identitet, som bør tænkes ind, når bias-modvirkende tiltag integreres i AI-understøttede CDSS.

Artificial intelligence (AI) is increasingly built into clinical decision support systems (CDSS)—tools that help clinicians make diagnoses and treatment choices. This can ease workload, but the way AI results are presented may introduce cognitive biases—mental shortcuts that can skew judgment—and reduce diagnostic accuracy. We examined how ophthalmologists view adding three strategies aimed at reducing such biases within their current AI-supported CDSS workflow. To do this, we created an interactive prototype that embodied the strategies and conducted individual, qualitative evaluations with six ophthalmologists to understand how useful they might be in practice. The ophthalmologists saw potential for the strategies to improve diagnostic accuracy. However, some judged routine use to be unrealistic because clinical work demands efficiency and current AI systems have limited capabilities. Perceived usefulness also depended on task complexity, which substantially influenced which strategies seemed helpful. Many viewed the strategies as precautionary safeguards, and some were skeptical of their value, believing that experienced clinicians outperform automated solutions. Overall, the findings highlight tensions between accuracy and efficiency, AI limitations, task complexity, and professional identity that should be considered when integrating bias mitigation into AI-supported CDSS.

[This abstract was generated with the help of AI]

diabetisk retinopati ; artificial intelligence ; bias mitigation ; clinical decision support system ; human-AI collaboration ; ophthalmology ; cognitive reasoning ; anchoring bias

Download
View record in AAU Student Projects