Test-taking engagement in low-stakes context: An educational data science approach

Preview	PDF (thesis) Download (4MB) | Preview
Preview	PDF (booklet) Download (715kB) | Preview
Preview	PDF (booklet) Download (608kB) | Preview

Abstract in Hungarian

A disszertáció keretein belül végzett kutatások célja interaktív tesztkörnyezetben történő tesztmegoldási elkötelezettséggel kapcsolatos kérdések önbevalláson, valamint log- és folyamatadatok elemzése által valós viselkedésen alapuló eredmények feltérképezése és összehasonlító vizsgálata. A disszertáció három empirikus kutatást egyesít a kérdéskörrel kapcsolatban. A kutatás során alkalmazott mérőeszköz 10 különböző komplexitású, a megoldáshoz interakciót igénylő problémát tartalmazott, amelyek alkalmasak voltak a különböző problémák feltérképezése során alkalmazott stratégiák, illetve az új helyzetekben mutatott tanulási hatékonyság mérésére. A MicroDYN modellen alapuló problémák az eDia online mérés-értékelési platform segítségével kerültek kiközvetítésre elsőéves egyetemi hallgatók számára alacsony téttel bíró tesztelési kontextusban. A problémák feltárása és a megoldásuk során alkalmazott interakciókat log- és folyamatadat formában rögzítettük, majd ezen viselkedési logadatok elemzésével vizsgáltuk a különböző explorációs és tanulási stratégiák hatékonyságát, illetve problémamegoldási teljesítményre gyakorolt hatásukat. A tesztmegoldással kapcsolatos erőfeszítést a teszt különböző részeibe beépített önbevalláson alapuló kérdéseken túl a problémák feltérképezésére és megoldására fordított idő, illetve az interakciók, kattintások számával monitoroztuk. Az első tanulmányban bemutatásra kerülő kutatásban a hallgatók tesztmegoldási erőfeszítését különböző módszerekkel mértük, és meghatároztuk a tesztmegoldási erőfeszítés diagnosztizálására alkalmazható optimális eljárást. Az eredmények alapján megállapítható, hogy a kattintások száma fontos szerepet játszik az interaktív problémamegoldó feladatokban nyújtott teljesítmény előrejelzésében. Az önbevallásos kérdőívre adott válaszok nem teljesen feleltek meg a résztvevők tényleges tesztmegoldási viselkedésének. A jó eredmények eléréséhez nem volt szükség maximális erőfeszítés kifejtésére, hanem csak egy bizonyos mértékűre. A második tanulmány azokat az item- és személyszintű tényezőket vizsgálta, amelyek befolyásolják a tesztmegoldási elkötelezetlenséget. A feladat teszten belüli sorrendjének növekedésével és a nehezebb feladatok esetén az elkötelezetlen válaszok aránya növekedett. A nők körében magasabb volt az elkötelezetlen válaszok aránya. Az alacsonyabb felvételi pontszámmal, alacsonyabb munkamemória-kapacitással és alacsonyabb önbevalláson alapuló erőfeszítéssel rendelkező személyeknél szintén magasabb volt az elkötelezetlen válaszok aránya. A harmadik tanulmányban a tesztmegoldási erőfeszítés szerepét vizsgáltuk az explorációs viselkedésen keresztül történő ismeretszerzésben. Az explorációs stratégia hatékonyságának nyomon követésére szolgáló, címkézett viselkedési adatok látens profilelemzésének eredményei négy csoportot azonosítottak. A tesztmegoldási erőfeszítés mértéke eltérő volt az egyes csoportok között, valamint a tesztmegoldás során különböző mértékben csökkent. Eredményeink arra utalnak, hogy a sikeres problémamegoldók elegendő időt és erőfeszítést fordítanak a problémák megoldására. A kellő mennyiségű erőfeszítés ugyan nem garantálja a sikeres problémamegoldást, de anélkül nem lehetséges a siker. A gyakorlati szakembereknek jelentős hangsúlyt kell fektetniük olyan módszerek alkalmazására, amelyek javítják a tanulók tesztmegoldási erőfeszítéseit.

Abstract in foreign language

The research conducted within this dissertation aims to explore and comparatively investigate real-world behavioral outcomes of test-taking engagement in an interactive test environment through self-report and analysis of log and process data. This dissertation brings together three empirical studies on this issue. The instrument used in this research consisted of 10 problems of different complexity requiring interaction to solve, which were suitable for measuring the exploration strategies of different problems. The problems, based on the MicroDYN model, were administered to first-year university students in a low-stakes testing context using the eDia online assessment platform. The exploration of the problems and the interactions used to solve them were recorded in log and process data format, and the effectiveness of different exploration and learning strategies and their impact on problem-solving performance were examined by analyzing these behavioral log data. In addition to self-report questions embedded in different parts of the test, test-taking effort was monitored by the time spent exploring and solving problems and the number of interactions. In the research presented in the first paper, we measured students' test-taking effort using different methods and determined the optimal procedure to diagnose test-taking effort. The results suggest that the number of clicks plays an important role in predicting performance in interactive problem-solving tasks. The responses to the self-report questionnaire did not fully reflect the actual test-taking behavior of the participants. A maximum effort was not required to achieve good results, but only a certain amount. The second study investigated item- and person-level factors that influence test-taking disengagement. For tasks administering later and for more difficult tasks, the proportion of disengaged responses increased. The proportion of disengaged responses was higher among women. Individuals with lower admission scores, lower working memory capacity and lower self-reported effort also had higher rates of disengaged responses. In the third study, we investigated the role of test-taking effort in the knowledge acquisition through exploration behavior. Latent profile analysis of labeled behavioral data to monitor the effectiveness of the exploration strategy identified four groups. The degree of test-taking effort differed between groups and decreased to various degrees during testing. Our results suggest that successful problem solvers put in enough time and effort to solve problems. A sufficient amount of effort does not guarantee a successful outcome, but success is not possible without it. Therefore, practitioners should place considerable emphasis on using methods that improve students' test-taking effort.

View Item