Interfaces for Presenting Summaries of Detections from Search and Rescue Drone Swarms
Authors
Gjela, Shpend ; Christensen, Andreas Daugbjerg
Term
4. term
Education
Publication year
2023
Submitted on
2023-06-01
Pages
25
Abstract
Drones are already used in Search and Rescue (SAR), letting ground teams scan large areas via live video. Research is now exploring drone swarms, which can cover an area faster than a single drone. Many parts of SAR will be automated, including path planning and detecting objects like people in distress. Because operators cannot watch multiple live feeds for long with sufficient attention, the feeds need to be summarized and potential findings highlighted with visual cues or annotations so operators can quickly grasp what the swarm has seen. In this work, we examine how summarizing video from a drone swarm can support SAR operators. We focus on designing a user interface with features such as filtering to counter threats to situational awareness, especially information overload and attentional tunneling (focusing too narrowly and missing other cues). We draw on theories about how people interpret images to make key elements easy and fast to spot. We explored several interface designs to highlight each drone’s findings and to summarize the swarm’s findings as a whole. Some designs were presented to the Danish Emergency Management Agency’s (DEMA) Head of Drone Operations in Jutland and a developer from Robotto, who work with drones and AI in SAR. Based on their feedback, we developed two prototypes that present the swarm’s detections as keyframes in a storyboard and allow filtering by time and by the category of detected objects. We evaluated the prototypes in an online study with 8 participants (drone operators, drone system developers, and university students), where each participant completed one task with each prototype in an imagined SAR scenario. Results showed that a storyboard of keyframes helped participants identify relevant detections: on average, they correctly marked 4.75 out of 6 detections with one of the prototypes. Participants also reported that filtering was useful for avoiding information overload.
Droner bruges i dag i eftersøgnings- og redningsmissioner (SAR), hvor operatører på jorden kan scanne store områder via dronernes videostrømme. Forskning undersøger nu dronesværme, som kan dække et område hurtigere end en enkelt drone. Mange dele af SAR-arbejdet bliver automatiseret, blandt andet ruteplanlægning og detektering af objekter som personer i nød. Fordi ingen operatør kan overvåge mange live-videostrømme længe med tilstrækkelig opmærksomhed, må videostrømmene opsummeres, og mulige fund fremhæves med visuelle markeringer eller annoteringer, så operatøren hurtigt kan forstå, hvad sværmen har observeret. I dette arbejde undersøger vi, hvordan opsummering af videostrømme fra en dronesværm kan støtte SAR-operatører. Vi fokuserer på at designe en brugergrænseflade med blandt andet filtrering for at modvirke udfordringer for situationsfornemmelsen, især informations-overload og opmærksomhedstunnel (at fokusere for snævert og overse andet). Vi trækker på teorier om, hvordan mennesker tolker billeder, med målet at gøre nøgleelementer lette at se hurtigt. Vi udforskede flere design til at fremhæve fund fra hver enkelt drone og sammenfatte fundene for hele sværmen. Nogle af designene blev præsenteret for Beredskabsstyrelsens (DEMA) leder af droneoperationer i Jylland og en udvikler fra Robotto, som arbejder med droner og AI i SAR. På baggrund af deres feedback udviklede vi to prototyper, der præsenterer en oversigt over sværmens detektioner som nøglebilleder (keyframes) i et storyboard og muliggør filtrering efter tid og kategori af detekterede objekter. Prototyperne blev afprøvet i et online-studie med 8 deltagere (droneoperatører, droneudviklere og universitetsstuderende), hvor hver deltager løste én opgave med hver prototype i et tænkt SAR-scenarie. Resultaterne viste, at en storyboard-baseret oversigt med nøglebilleder hjalp deltagerne med at identificere relevante fund: i gennemsnit markerede de 4,75 ud af 6 detektioner korrekt med den ene prototype. Deltagerne vurderede også, at filtrering var nyttig til at undgå informations-overload.
[This apstract has been rewritten with the help of AI based on the project's original abstract]
Keywords