Et scoping review omhandlende begrænsninger ved udviklingen af prognostiske kliniske beslutningsstøttesystemer og en validering af det prognostiske beslutningsstøttesystem ERVIN
Oversat titel
A Scoping Review on limitations of the development of prognostic Clinical Decision Support Systems and validation of the prognostic clinical decision support system ERVIN
Forfattere
Thøgersen, Mads Bruun ; Kiis, Ditmer
Semester
4. semester
Udgivelsesår
2023
Afleveret
2023-06-16
Antal sider
92
Resumé
Baggrund: Artrose har store konsekvenser og behandles enten konservativt eller kirurgisk, men der mangler klare retningslinjer for valg af behandling. Prognostiske kliniske beslutningsstøttesystemer (CDSS) kan støtte fælles beslutningstagning; et sådant system er ERVIN, som er udviklet til at forudsige reoperation, korttidskomplikationer hos patienter med total hoftealloplastik (THA) og total knæalloplastik (TKA) samt luksationer efter THA. Formål: at kortlægge, hvilke begrænsninger der rapporteres ved udvikling af prognostiske CDSS’er, og at gennemføre en tidsmæssig validering af ERVIN. Metode: Et systematisk scoping review af PubMed, Embase og IEEE identificerede selvrapporterede metodiske begrænsninger i udviklingsstudier. Derudover blev ERVIN temporalt valideret på data fra Aalborg Universitetshospital, Farsø. Modelpræstation blev vurderet ved kalibrering-i-det-store, kalibreringshældning, diskrimination (AUC) og beslutningskurveanalyse. Resultater: 99 studier blev inkluderet, og 355 metodiske begrænsninger blev opgjort inden for bl.a. bias, datakvalitet, generaliserbarhed, manglende ekstern validering, manglende udfald, overtilpasning, populationsskift, prædiktorproblemer, blandede problemer og sample size. I den tidsmæssige validering viste ERVIN gennemgående lav diskrimination (AUC cirka 0,42–0,57) og utilstrækkelig kalibrering for reoperation og korttidskomplikationer efter THA og TKA; der blev ikke rapporteret resultater for THA-luksationer. Samlet tydede resultaterne på, at ERVIN ikke pålideligt forudsagde de undersøgte udfald i dette datasæt, men fortolkningen begrænses af lille sample size og brede konfidensintervaller. Konklusion: Begrænsninger ved udviklingen af prognostiske CDSS’er rapporteres uensartet, og håndteringen heraf er ofte utilstrækkelig. ERVIN viste utilfredsstillende prognostisk ydeevne i den foreliggende validering; yderligere validering med større datasæt er påkrævet.
Background: Osteoarthritis has major consequences and is treated conservatively or surgically, yet clear guidance on treatment choice is lacking. Prognostic clinical decision support systems (CDSS) can support shared decision-making; one such system is ERVIN, developed to predict reoperation, short-term complications in total hip arthroplasty (THA) and total knee arthroplasty (TKA) patients, and dislocations after THA. Objectives: to map which limitations are reported in the development of prognostic CDSS and to conduct a temporal validation of ERVIN. Methods: A systematic scoping review of PubMed, Embase, and IEEE identified self-reported methodological limitations in development studies. In addition, ERVIN was temporally validated using data from Aalborg University Hospital, Farsø. Performance was assessed using calibration-in-the-large, calibration slope, discrimination (AUC), and decision-curve analysis. Results: Ninety-nine studies were included and 355 limitations were catalogued across bias, data quality, generalizability, lack of external validation, missing outcomes, overfitting, population drift, predictor issues, mixed problems, and sample size. In the temporal validation, ERVIN showed consistently low discrimination (AUC ~0.42–0.57) and inadequate calibration for predicting reoperation and short-term complications after THA and TKA; no result was reported for THA dislocations. Overall, the findings suggest ERVIN did not reliably predict the studied outcomes in this dataset, although interpretation is constrained by small sample size and wide confidence intervals. Conclusion: Limitations in the development of prognostic CDSS are reported inconsistently and are often insufficiently addressed. In this validation, ERVIN demonstrated suboptimal prognostic performance; further validation with larger samples is needed.
[Dette resumé er genereret med hjælp fra AI direkte fra projektet (PDF)]
Emneord