Optimising User Trust in Decision Aids in the Healthcare Domain: A national decision aid for medication prescription

Abstract

Algoritmer og kunstig intelligens overtager store dele af folks hverdag, og er i forvejen til stede i blandt andet smartphones, biler, hospitaler og banker. Baseret på de store mængder data, der hver dag indsamles gennem sensorteknologier, er det muligt at påvirke og hjælpe mennesker i deres beslutningstagning. Teknologien har et stort potentiale til at effektivisere hele brancher, heriblandt sundhedssektoren, hvor der investeres i udvikling af digitale beslutningsstøttesystemer. For at udnytte algoritmers fulde potentiale kræver det tillid til anvendelsen af dem. For at undersøge sundhedspersonales tillid til beslutningsstøttesystemer og andre sundhdespersonale, samt hvilke faktorer der påvirker deres opfattelser, gennemføres en eksperimentel parvis sammenligningsundersøgelse (\textit{pairwise comparison}) på 28 sundhedsprofessionelle og medicinstuderende. Den eksperimentelle undersøgelse er baseret på 10 perceptuelle udtalelser om to rådgivningskarakterer - en overlæge og et beslutningsstøttesystem. Rådgivningskaraktererne er fundet, beskrevet og designet baseret på 3 semi-strukturelle interviews med professorer og projektledere inden for sundhedsvæsenet samt 1 kontekstuelt interview med en overlæge på kardiologisk afdeling på et sygehus i Region Nordjylland. Den eksperimentelle undersøgelse viser, at sundhedspersonale opfatter udsagn til at være rigtige for beslutningsstøttesystemet i højere grad end overlægen for 3 udsagn. Ydermere opfatter sunhedspersonale udsagn til at være rigtige for overlægen i højere grad end beslutningsstøttesystemet for 5 udsagn. For 2 udsagn er det ikke sandsynligt at der er signifikant forskel for de to rådgivningskarakterer. Baseret på de kombinerede resultater af det eksplorative og det eksperimentelle studie konkluderes det at sundhedspersonale generelt ikke er modvillige overfor rådgivning fra beslutningstøttesystemer. Ifølge de tre udsagn, der opfattes som mere rigtige for beslutningstøttesystemet i forhold til overlægen, findes det, at der er en stærk tiltro til, at beslutningstøttesystemet rådgiver baseret på videnskabelig evidens og kan omstille sig til ny viden i højere grad end overlægen. Desuden findes der grundlag for at forbedre beslutningsstøttesystemet med konkrete designforslag baseret på de 5 udsagn, der vurderes som mere rigtige for overlægen. Det drejer sig om at lægge større vægt på mængden af data, der tages i betragtning af beslutningsstøttesystemet, bedre visualiseringer og simuleringer af råd og konsekvenser af disse, at de mest relevante data altid er tilgængelige for at opfattelsen af at tage hensyn til patientens behov, basere rådgivning på et fuldstændigt billede af patienten og bedre forklare ræsonnementet for rådgivningen. Denne mixed method tilgang til at undersøge sundhedspersonales opfattelse af algoritmer og råd fra disse i form af beslutningstøttesystemer, findes at være god til at levere brugbare resultater. Resultater der giver indsigt i de faktorer, som påvirker sundhedspersonales opfattelse af råd fra forskellige rådgivere. Resultaterne kan omdannes til brugbare forbedringer og overvejelser til designprocessen og, hvordan beslutningsstøttesystemer designes for at optimere tilliden til de råd der gives.

To explore healthcare professionals' trust in decision aids and other healthcare professionals as well as which factors affect these perceptions, an experimental pairwise comparison study with 28 healthcare professionals and medicine students is conducted. The study is based on 10 perceptual statements about two adviser characters (a consultant and a decision aid) that were found, developed, and described based on semi-structured and contextual interviews with healthcare professionals and professors specialising in the Danish healthcare sector. The experimental study shows that healthcare professionals perceive the statements to be true for the decision aid to a larger extent than the consultant for 3 statements. Healthcare professionals have likewise perceived the statements to be true for the consultant to a larger extent than the decision aid in 5 statements. The statements are not likely to be significantly different in 2 statements. Based on the combined results of the exploratory and experimental studies it is concluded that healthcare professionals are not averse to advice from decision aids, according to the three factors perceived as more true for the decision aid. Furthermore, is is found that the decision aid can be improved on the remaining 8 factors to perform as well as or better than the consultant. Changes to the design of the decision aid are suggested. The mixed method approach to explore people's perception of algorithms and algorithmic advice in the form of decision aids is found to provide useful results. The results provide insights into factors that affect healthcare professionals' perception of advice from different advisers. The results can be turned into useful improvements and considerations for the design process of decision aids and algorithmic advice.

A master thesis from Aalborg University

Optimising User Trust in Decision Aids in the Healthcare Domain: A national decision aid for medication prescription

[Optimering af tillid til beslutningsstøttesystemer i sundhedssektoren: Et nationalt beslutningsstøttesystem til medicinordinering]