Quali-Quantitative Evaluation: An experiment in heterogeneous engineering
Authors
Siegfried, Alexander Luis Manuel ; Felumb, Alfred Lund
Term
4. term
Education
Publication year
2022
Submitted on
2022-11-04
Pages
49
Abstract
Many in the architecture and construction industry want user evaluations of buildings, but current workflows make this difficult. At the same time, techno‑anthropologists (who study how technology and society interact) often face uncertain job prospects. This thesis tests quali‑quantitative analysis—combining qualitative insights with basic quantitative measures—as a way to scale qualitative architectural evaluations. We ran a “least‑likely” setup at DTU’s Lyngby campus: a mobile app invited students to share experiences of campus spaces, with minimal in‑situ researcher involvement, to test the limits of delegating data collection to participants and digital tools. What happened: many practical challenges and very little data. Even so, using qualitative and quantitative approaches in a complementary way remains viable. Our main lesson reflects a common issue in data projects: aligning the technical system’s possibilities and constraints (network affordances) with everyone’s key concerns and interests (matters of concern. Where our translation work fell short, we faced barriers: doubts about our legitimacy as student researchers; trade‑offs around offering incentives not directly tied to the evaluation; and unintended associations with the data practices of commercial smartphone apps. We therefore recommend prioritizing transparency when using dedicated digital tools for architectural evaluation—addressing participants’ concrete concerns and clearly communicating outcomes. Overall, the researcher’s role goes far beyond their own questions: it is about translating between tools, methods, participants, and competing ideas about data—an interdisciplinary marathon.
Mange i bygge- og arkitektbranchen ønsker brugerevalueringer af bygninger, men de nuværende arbejdsgange gør det svært. Samtidig står techno‑antropologer (der undersøger samspillet mellem teknologi og samfund) ofte i en usikker jobsituation. Denne afhandling afprøver kvali‑kvantitativ analyse—en kombination af kvalitative indsigter og enkle kvantitative mål—for at gøre kvalitative arkitektoniske evalueringer mere skalerbare. Vi gennemførte en “mindst sandsynlig” afprøvning på DTU’s Lyngby Campus: En mobilapp bad studerende dele deres oplevelser af campusrum, mens forskerens in‑situ‑tilstedeværelse blev holdt på et minimum, for at teste grænserne for at uddelegere dataindsamling. Resultatet var mange praktiske udfordringer og meget få data. Alligevel vurderer vi, at en komplementær brug af kvalitative og kvantitative tilgange er mulig. Hovedlæringen svarer til en generel udfordring i dataprojeker: at afstemme de tekniske systemers muligheder og begrænsninger (netværkets affordanser) med alle parters vigtigste bekymringer og interesser (matters of concern). Hvor vores oversættelsesarbejde ikke rakte, stødte vi på barrierer: tvivl om vores legitimitet som studerende, afvejninger ved at tilbyde incitamenter der ikke er direkte knyttet til evalueringen, og ufrivillige associationer til smartphone‑apps’ eksisterende datapraksisser. Vi anbefaler derfor at sætte gennemsigtighed højt, når man bruger dedikerede digitale værktøjer til arkitektonisk evaluering—rette sig mod deltagernes konkrete anliggender og kommunikere resultaterne tydeligt. Samlet set rækker forskerens rolle langt ud over egne spørgsmål: Den handler om at oversætte mellem værktøjer, metoder, deltagere og modstridende dataforståelser—et maraton i tværfaglighed.
[This apstract has been rewritten with the help of AI based on the project's original abstract]
Keywords