Patient Comprehension and Perception of AI-Generated Clinical Notes in Musculoskeletal Healthcare: An Experimental Proof-of-Concept Study

Abstract

Baggrund: Muskuloskeletale lidelser påvirker omkring 1.71 milliarder mennesker globalt og medfører betydelige udfordringer i form af funktionsnedsættelse, reduceret livskvalitet og store sundhedsøkonomiske omkostninger. Effektiv kommunikation mellem patienter og sundhedsprofessionelle er afgørende for håndteringen af disse lidelser. Selvom patientadgang til elektroniske patientjournaler (EPJ) kan øge engagementet i egen behandling, indeholder kliniske journalnotater typisk komplekst medicinsk sprog, der vanskeliggør forståelsen, især hos personer med lav sundhedskompetence. Nyere fremskridt inden for generativ kunstig intelligens (AI) har potentiale til at skabe forenklede, patientvenlige kliniske notater. Formål: Dette proof-of-concept studie havde til formål at evaluere effekten af AI-genererede, patientvenlige kliniske notater på deltagernes objektive forståelse og deres opfattelse sammenlignet med originale notater, med særligt fokus på forskelle relateret til niveau af sundhedskompetence. Metode: I alt 19 deltagere (gennemsnitsalder 55.7 ± 19.9 år) evaluerede originale og AI-genererede versioner af seks muskuloskeletale kliniske notater. Notaterne blev genereret med GPT-4o ved brug af zero-shot prompting-teknikker målrettet personer med lav sundhedskompetence. Objektiv forståelse blev målt ved hjælp af selvudviklede checklister, mens deltagernes opfattelse blev vurderet med et seks-delt spørgeskema målt på en fem-punkts Likert-skala. Sundhedskompetencen blev målt med den danske HLS-EU-Q16 og DS-TOFHLA. De statistiske analyser omfattede Wilcoxon signed-rank test, Mann-Whitney U test, parrede t-tests samt lineære mixed-models. Resultater: Deltagerne opnåede signifikant højere objektiv forståelse ved læsning af AI-genererede notater (median 80 %, IQR 44 %) sammenlignet med originale notater (median 38 %, IQR 44.5 %; z= -3.823, P<. 001). De subjektive evalueringer favoriserede ligeledes de AI-genererede notater signifikant på samtlige dimensioner (alle P<. 001). Der blev fundet en signifikant interaktion mellem niveau af sundhedskompetence (HLS) og notattype, hvilket indikerede størst forbedring af forståelsen hos deltagere med lav sundhedskompetence ( F (1, 85.8)=8.9, P=. 004). Konklusion: Dette studie fremhæver AI's potentiale som et effektivt værktøj til at imødekomme forståelsesforskelle og styrke patienternes muligheder for aktiv deltagelse i egen behandling. På baggrund af disse lovende resultater vil integration af AI-baserede, forenklede notater i klinisk praksis kunne øge patientinddragelsen betydeligt. Fremtidige studier bør prioritere udviklingen og valideringen af værktøjer, der er specifikt designet til at måle patienters forståelse af kliniske journalnotater.

Background: Musculoskeletal disorders affect approximately 1.71 billion people globally, posing significant burdens in terms of disability, reduced quality of life, and healthcare costs. Effective patient-provider communication is critical for managing these conditions. Although patient access to electronic health records (EHRs) enhances engagement, clinical notes typically contain complex medical jargon that impedes understanding, especially among individuals with limited health literacy. Recent advances in generative artificial intelligence (AI) have potential for creating simplified, patient-friendly clinical notes. Objective: This proof-of-concept study aimed to evaluate the impact of AI-generated, patient-friendly clinical notes on participants' objective comprehension and their perceptions compared to original notes, with particular attention to variations based on health literacy levels. Methods: A total of 19 participants (mean age 55.7 ± 19.9) evaluated original and AI-generated versions of six musculoskeletal clinical notes. Notes were generated using GPT-4o with zero-shot prompting techniques tailored to low health literacy individuals. Objective comprehension was assessed via self-developed checklists, and perception via a six-item questionnaire measured on a five-point Likert-scale. Health literacy was measured using the Danish HLS-EU-Q16 and DS-TOFHLA questionnaires. Statistical analyses involved Wilcoxon signed-rank tests, Mann-Whitney U tests, paired t-tests, and linear mixed models. Results: Participants demonstrated significantly higher objective comprehension scores for AI-generated notes (median 80%, IQR 44%) compared to original notes (median 38%, IQR 44.5%; z=-3.823, P<.001). Subjective evaluations favored AI-generated notes significantly across all dimensions (all P<.001). A significant interaction was found between health literacy levels (HLS) and note version, indicating greater comprehension benefits for individuals with lower health literacy (F(1, 85.8)=8.9, P=.004). Conclusions: This study supports AI's potential as a powerful tool to bridge comprehension gaps and foster patient empowerment. Given these promising results, integrating AI-driven note simplification into routine clinical practice could significantly enhance patient engagement. Future studies should prioritize the development and validation of tools specifically designed for measuring patient comprehension of clinical notes.

A master thesis from Aalborg University

Patient Comprehension and Perception of AI-Generated Clinical Notes in Musculoskeletal Healthcare: An Experimental Proof-of-Concept Study

[Patienters forståelse og opfattelse af AI-genererede journalnotater inden for det muskuloskeletale sundhedsområde: Et eksperimentelt proof-of-concept-studie]