Explainable Alerts for Drone Swarm-based Search and Rescue: How Information Detail Impacts Performance
Authors
Andersen, Andreas Skjoldgaard ; Michaelsen, Philip
Term
4. term
Education
Publication year
2023
Submitted on
2023-06-01
Pages
27
Abstract
Coordinated groups of drones (drone swarms) are increasingly explored for search and rescue. Because these missions are time-critical and can be life-or-death, they place a heavy mental load on operators. Careful use of artificial intelligence (AI) may therefore be key to making such systems effective. We examined whether explanations for the swarm’s object detections—that is, brief information about why the AI thinks it has found something—can help operators perform better. We ran an online study with eight participants involved with the Danish emergency services. They responded to AI-generated alerts under varying workload, while we varied how detailed the AI’s explanations were. Using both performance data and self-reported measures, we found that under high cognitive load participants responded significantly faster to alerts, and this extra speed did not necessarily come at the cost of accuracy. Our findings also highlight a challenge: over-trust in AI can erode users’ own expertise over time. We discuss these results and their implications for designing alerts and explanations in search and rescue.
Koordinerede grupper af droner (dronesværme) bliver i stigende grad undersøgt til søgning og redning. Fordi disse missioner er tidkritiske og kan være livsafgørende, lægger de et stort mentalt pres på operatørerne. En velovervejet brug af kunstig intelligens (AI) kan derfor være afgørende for, hvor effektive systemerne er. Vi undersøgte, om forklaringer på de objektdetektioner, som dronesværmen foretager—altså kort information om, hvorfor AI’en mener, den har fundet noget—kan hjælpe operatører med at præstere bedre. Vi gennemførte en onlineundersøgelse med otte deltagere med tilknytning til det danske beredskab. De skulle reagere på AI-genererede alarmer under varierende arbejdsbelastning, mens de fik forklaringer med forskellige niveauer af detaljer. Ved hjælp af både præstationsmål og selvrapporterede vurderinger fandt vi, at under høj kognitiv belastning reagerede deltagerne markant hurtigere på alarmer, og denne ekstra hastighed gik ikke nødvendigvis ud over nøjagtigheden. Resultaterne peger også på en udfordring: overtillid til AI kan med tiden udhule brugernes egen ekspertise. Vi drøfter disse fund og giver anbefalinger til, hvordan alarmer og forklaringer bør udformes i søgnings- og redningsarbejde.
[This apstract has been rewritten with the help of AI based on the project's original abstract]
Keywords
Drones ; Swarms ; HERD ; Alerts ; Explanations ; Cognitive Load