The Influence of Domain Expertise in Usability and Information Architecture Evaluations
Authors
Bertelsen, Anders Østergaard ; Pedersen, Mathias
Term
4. Term
Education
Publication year
2015
Submitted on
2015-06-01
Pages
130
Abstract
Mange brugervenlighedstests bruger primært tiltænkte brugere med domæneviden. Denne afhandling undersøger, om det også er værdifuldt at inddrage novicer uden domænekendskab, fordi de kan opleve, browse og bruge fagspecifikke systemer anderledes end eksperter. Spørgsmålet er, om novicer kan pege på andre ulemper og fordele — særligt i den overordnede brugervenlighed — som eksperter overser, fordi de kender indholdet godt. Afhandlingen indleder med en gennemgang af teori om brugervenlighedsevaluering og informationsarkitektur, inklusive litteratur der betoner vigtigheden af at teste med tiltænkte brugere. Dernæst gennemgås nyere studier, der sammenligner domæneeksperter og novicer som deltagere i brugertests. Vi afprøver hypotesen med to udbredte metoder: tænke-højt (deltagere siger deres tanker højt, mens de løser opgaver) og kortsortering (deltagere grupperer emner i kategorier). I alt deltog 20 personer: 10 domæneeksperter i mountainbiking og 10 tilfældigt udvalgte novicer. Testene blev gennemført på websites inden for mountainbike-domænet for at matche eksperternes viden. På baggrund af analysen giver vi anbefalinger til valg af deltagere i brugervenlighedstests. Resultaterne viser, at deltagere uden domænekendskab kan være nyttige i nogle dele af evalueringen, og vi beskriver situationer, hvor novicer var lige så nyttige eller mere nyttige end eksperter. Afslutningsvis peger vi på, hvad fremtidige evalueringer i brugervenlighed og informationsarkitektur kan overveje i deres forskningsdesign.
Many usability tests primarily involve intended users with domain expertise. This thesis examines whether including novices without domain knowledge is also valuable, because they may browse, perceive, and use specialized systems differently from experts. The key question is whether novices can surface different drawbacks and advantages—especially in overall usability—that experts might miss due to their familiarity with the content. The thesis begins with an overview of usability evaluation and information architecture, including literature that emphasizes testing with intended users. It then reviews recent studies comparing domain experts and novices as test participants. We tested the hypothesis with two common methods: Think-Aloud (participants verbalize their thoughts while completing tasks) and Card Sorting (participants group topics into categories). Twenty people took part: 10 mountain biking domain experts and 10 randomly selected novices. The tests were conducted on mountain biking websites to match the experts’ domain. Based on our analysis, we provide recommendations for selecting participants in usability testing. The results show that participants without domain knowledge can be useful in some parts of a usability evaluation, and we outline cases where novices were as useful as, or more useful than, experts. We conclude with considerations for future usability and information architecture evaluations when planning their research design.
[This abstract was generated with the help of AI]
Documents