Human Swarm Interface with Predictive AI for Onsite Incident Commander in Maritime Search and Rescue Operations

Abstract

Vand redningsaktioner er et område som kan have gavn af den konstante udvikling af drone teknologien. Brugen af droner til at undersøge et område kan erstatte en helikopter hvilket både spare penge og tid og derfor liv. Udfordringen er at implementere en grænseoverflade for indsatslederen, som er personen der leder aktionen på stedet, og understøtte den ønskede funktionalitet mens der holdes en høj situationsfornemmelse, ydeevne og en passende arbejdsbyrde. Tidligere undersøgelser har studeret effekten af konventionelle, forudsigende og virtuelle grænseflader i relation til situationsfornemmelse og arbejdsbyrde. Resultaterne viste at virtuel realitet forhøjede situationsfornemmelsen, men resultaterne for effekten af konventionelle mod forudsigende grænseflader var ikke afgørende, og flere undersøgelser blev forslået. Problemstillingen er at finde ud hvilken effekt et forudsigende drone sværms grænseflade vil have på situationsfornemmelse, arbejdsbyrde og ydeevne. En undersøgelse er udført for at måle disse variabler og eksperter er bragt ind for at udvikle et set af design retningslinjer. Platformen for undersøgelsen er udviklet som en progressiv web applikation som vil køre på en iPad Pro. Undersøgelsen var udført med ti deltagere og gennem kontekstuelle interviews med 3 eksperter. Resultaterne af undersøgelsen viste en afgørende forskel i arbejdsbyrde til fordel for de forudsigende grænseflader. Arbejdsbyrde målinger viste at den forudsigende påtrængende grænseflade havde den bedste ydeevne. Derudover er design implikationer udviklet i sammarbejde med eksperter præsenteret.

Maritime search and rescue (SAR) is an area which can benefit from the constant advancements in unmanned aerial vehicle (UAV) technology. Using UAVs to search an area can serve as a replacement for a helicopter which is both cost effective and can save time and thereby lives. The challenge is to implement an interface for the incident commander, who is the person in charge on the scene, to support the need functionality while maintaining a high situational awareness, performance and an appropriate workload. Previous work on SAR operations have studied the effects of conventional-, predictive- and virtual reality interfaces in relation to situational awareness and workload. The results showed that virtual reality increased situational awareness, however the results for the effects of conventional vs predictive interfaces were inconclusive, and more research was suggested. The research problem is to figure out what effect a predictive human swarm interface will have on situational awareness, workload and performance. A study is conducted to measure these variables and experts are brought in to develop a set of design guidelines. The platform for the study is developed as a progressive web application which will run on an iPad Pro. The study was conducted with ten participants and through contextual interviews with three experts. The results of the study showed significant difference in human workload in favor of the predictive interfaces. Performance measurements showed that the predictive intrusive interface had the best performance. Furthermore design implications developed in collaboration with experts are presented.

A master thesis from Aalborg University

Human Swarm Interface with Predictive AI for Onsite Incident Commander in Maritime Search and Rescue Operations