"You didn't realize that you didn't know": Design toolkit for Unknown Unknown discovery in chatbots
Authors
Poulsen, Nichi Suzuki ; Jull, Lisa Handberg
Term
4. term
Education
Publication year
2026
Submitted on
2026-05-28
Pages
14
Abstract
The paper examines how chatbot interaction design can help people discover 'unknown unknowns'—needs and questions they do not yet realize they have. We present a design toolkit for discovery strategies both before a chat begins (pre-conversational) and during the conversation in healthcare chatbots based on Large Language Models (LLMs), AI systems that generate text. As a use case, we focus on supporting people newly discharged after a stroke and conducted two user studies with stroke survivors, stroke clinicians, and university students. Study 1 tested four pre-conversational interface styles for navigating stroke-related information: Categories, FAQs, Roles, and Keywords. Results showed a clear preference for structured, category-based navigation and layout, and highlighted the importance of accessibility. Building on this, Study 2 investigated how users discover new information through faceted (filter-based) and conversational interaction. A chatbot prototype combining faceted and conversational search was evaluated across different scenario types and suggestion button strategies (predefined prompts). Findings indicate that vague scenarios led to greater use of predefined prompts, supporting exploratory discovery of new topics, while specific scenarios steered users toward their own questions. Participants generally found the system intuitive and supportive, though limitations remain for future work. The paper contributes both a design toolkit and insights from two studies into discovery-oriented chatbot interaction design.
Artiklen undersøger, hvordan design af chatbot-interaktion kan hjælpe mennesker med at opdage 'unknown unknowns'—det vil sige behov og spørgsmål, man endnu ikke ved, at man har. Vi præsenterer et designværktøj til strategier for opdagelse både før samtalen starter (pre-conversational) og under selve samtalen i sundhedschatbots baseret på Large Language Models (LLM'er), store sprogmodeller der kan generere tekst. Som brugsscenarie fokuserer vi på støtte til personer, der nyligt er udskrevet efter en apopleksi (slagtilfælde), og vi gennemførte to brugerstudier med apopleksiramte, klinikere og universitetsstuderende. Studie 1 undersøgte fire præ-samtalegrænseflader til at finde viden om apopleksi: Kategorier, FAQ, Roller og Nøgleord. Resultaterne viste en klar præference for struktureret navigation via kategorier og et overskueligt layout og fremhævede samtidig vigtigheden af tilgængelighed. Med afsæt i dette undersøgte Studie 2, hvordan brugere opdager ny information gennem facetbaseret (filtrering) og samtalebaseret interaktion. En chatbotprototype med både facet- og samtalesøgning blev evalueret på tværs af forskellige scenarietyper og strategier for forslagsknapper (foruddefinerede prompts). Resultaterne peger på, at vage scenarier førte til større brug af foruddefinerede forslag, hvilket understøttede udforskende opdagelse af nye emner, mens specifikke scenarier fik brugerne til at stille egne spørgsmål. Deltagerne oplevede generelt systemet som intuitivt og støttende, men der er stadig begrænsninger, som bør adresseres i fremtidigt arbejde. Artiklen bidrager med både et designværktøj og indsigter fra to studier i opdagelsesorienteret chatbot-interaktionsdesign.
[This apstract has been rewritten with the help of AI based on the project's original abstract]