Engagement and Usability of Conversational Search - a Study of a Medical Resource Center Chatbot
Author
Fergencs, Tamás
Term
4. term
Publication year
2020
Pages
56
Abstract
Efter fremskridt i forståelsen af naturligt sprog er chatbots blevet populære til opgaver som søgning. De gør det muligt at stille spørgsmål i naturligt sprog, hvilket kan hjælpe ved komplekse informationsbehov, og de præsenterer information i et dialoglignende format. Chatbots bruges dog ofte kun som et supplement til en grafisk søgegrænseflade, og derfor skal de både være engagerende og lette at bruge. I dette studie blev en chatbot-baseret og en website-baseret søgegrænseflade sammenlignet med hensyn til engagement og brugervenlighed. Engagement blev målt med User Engagement Scale (et standardiseret spørgeskema). Brugervenlighed blev vurderet med en tænke-højt-protokol (deltagere siger, hvad de tænker under brug) og et spørgeskema. Adfærdsdata blev brugt til at sammenholde resultaterne (triangulering). Resultaterne viser, at brugen af chatbots ikke øgede engagementet, og at deres brugervenlighed var lavere end for den website-baserede søgegrænseflade.
Advances in natural language understanding have made chatbots popular for tasks like search. They allow questions in everyday language, which can help with complex information needs, and present results in a conversational format. However, chatbots are often only add-ons to a traditional graphical search interface, so they must be engaging and easy to use. This study compared a chatbot-based and a website-based search interface in terms of engagement and usability. Engagement was measured with the User Engagement Scale (a standardized survey). Usability was assessed with a think-aloud protocol (participants verbalize their thoughts while using the system) and a questionnaire. Behavioral measures were used to cross-check the findings (triangulation). The results indicate that using the chatbot did not increase engagement, and its usability was lower than the website-based search interface.
[This summary has been rewritten with the help of AI based on the project's original abstract]
Keywords
Documents