MAKING QUANTITATIVE EVALUATION DATA MORE USEFUL TO TEACHERS: A CASE STUDY AT THE TECHNICAL FACULTY AT LUND UNIVERSITY
Author
Andersen, Line Palle
Term
4. term
Publication year
2018
Submitted on
2018-05-29
Pages
53
Abstract
Studentevalueringer blev obligatoriske i Sverige i 2003. På Lunds Tekniska Högskola (LTH) indførte man en tilpasset udgave af Course Experience Questionnaire (CEQ) – et forskningsbaseret spørgeskema, der lægger vægt på dybdelæring. LTH-udgaven rummer 26 numeriske spørgsmål og to åbne fritekstspørgsmål. Lærerne får de samlede resultater i en Arbejdsrapport. Studier ved Genombrottet, LTH’s enhed for akademisk udvikling, viser dog, at lærerne især læser de kvalitative kommentarer og overser tallene. Da tallene visualiseres tydeligt, skyldes det næppe manglende forståelse eller pædagogisk interesse. Vores empiri, baseret på fokusgruppeinterviews med LTH-lærere, bekræfter, at mange lægger Arbejdsrapporterne fra sig så hurtigt som muligt. De føler sig utilpasse ved evalueringerne, især ved ubetænksomme kommentarer fra studerende. Artiklen undersøger, hvordan man kan opbygge en organisationskultur, der får lærere til i højere grad at bruge de kvantitative data og understøtter ekspansiv læring gennem mere åbenhed og videndeling om evalueringer. Med Engeströms aktivitetsteori – en ramme, der analyserer samspillet mellem mennesker, værktøjer og regler – analyserer vi den organisatoriske struktur og skitserer praktiske løsninger: korte videotutorials til henholdsvis lærere og studerende, et justeret spørgeskema, en revideret Arbejdsrapport og Slutrapport samt et interface, der gør det muligt for lærere at arbejde med egne tal ved at sammenligne dem over tid eller med udvalgte gennemsnit på LTH.
Student evaluations became mandatory in Sweden in 2003. At Lund University’s Faculty of Engineering (LTH), an adapted Course Experience Questionnaire (CEQ)—a research-based survey that emphasizes deep learning—was introduced. The LTH version has 26 numerical items and two open-text questions. Teachers receive a summarized Work Report. However, studies at Genombrottet, LTH’s academic development unit, show that teachers mainly read the qualitative comments and overlook the numbers. Because the visualizations are clear, this is unlikely to stem from a lack of understanding or pedagogical interest. Our empirical data, based on focus group interviews with LTH teachers, confirms that many set aside the Work Reports as soon as they can. They feel uncomfortable with the evaluations, especially with inconsiderate comments from students. This paper explores how to build an organizational culture that encourages teachers to use the quantitative data and supports expansive learning through greater openness and knowledge sharing about evaluations. Using Engeström’s Activity Theory—a framework for analyzing how people, tools, and rules interact—we analyze the organizational setup and outline practical solutions: short video tutorials for teachers and for students, an adjusted questionnaire, a revised Work Report and End Report, and an interface that lets teachers work with their own numbers by comparing them over time or with selected averages at LTH.
[This abstract was generated with the help of AI]
Keywords
Documents