Trust and Accuracy in AI-Assisted Visual Problem Solving
Author
Valbjörnsson, Valbjörn Jón
Term
4. term
Education
Publication year
2024
Submitted on
2024-06-14
Pages
10
Abstract
Efterhånden som AI bliver mere udbredt, undersøger vi, hvordan mennesker og AI kan løse opgaver sammen. Vi fokuserer på en visuel opgave, hvor en AI-assistent fungerer som et beslutningsstøtteværktøj og giver feedback undervejs. For at forstå effekten manipulerede vi assistenten til nogle gange at tage fejl og lod dens beskeder lyde mere eller mindre selvsikre. I et studie med 25 deltagere, hvor hver person prøvede flere versioner af opgaven, målte vi, hvordan feedback påvirkede præstationen hos deltagere med forskellige færdighedsniveauer. Vi fandt, at deltagere med lavere færdighedsniveau klarede sig betydeligt bedre med feedback end uden. Deltagerne brugte især assistenten som inspiration til at få øje på mønstre. På den baggrund peger vi på, at en AI-assistent med fordel kan understøtte mennesker ved at foreslå mønstre og idéer, som ellers kan blive overset.
As AI tools become more common, we examine how people and AI can solve problems together. We study a visual task in which an AI assistant acts as a decision-support tool by giving feedback partway through the task. To test its influence, we intentionally made the assistant wrong at times and varied how confident its messages sounded. In a study with 25 participants, where each person experienced multiple versions, we measured how feedback affected performance across different skill levels. We found that participants with lower skill levels performed much better with feedback than without. Participants mainly used the assistant as inspiration for recognizing patterns. Based on this, we suggest that AI assistants may be most helpful when they support people by proposing patterns and ideas that might otherwise be missed.
[This summary has been rewritten with the help of AI based on the project's original abstract]
Keywords
Documents