Measuring Complex Problem Solving in Jordanian Higher Education: Feasibility, Construct Validity and Logfile-Based Behavioural Pattern Analyses

Alrababah Saleh Ahmad
Measuring Complex Problem Solving in Jordanian Higher Education: Feasibility, Construct Validity and Logfile-Based Behavioural Pattern Analyses.
Doctoral thesis (PhD), University of Szeged.
(2022)

[thumbnail of Dissertation_Saleh_Ahmad_Alrababah.pdf] PDF (thesis)
Download (1MB)
[thumbnail of DissertationSummary_Saleh_Ahmad_Alrababah.pdf] PDF (booklet)
Download (473kB)
[thumbnail of abstrakt_hu_final._Saleh_Ahmad_Alrababah.pdf] PDF (booklet)
Download (215kB)

Abstract in Hungarian

A disszertáció keretein belül végzett kutatások célja annak feltérképezése, hogy releváns, megbízható és megvalósítható-e harmadik generációs, számítógépalapú tesztek alkalmazása a Jordán felsőoktatásban, különös tekintettel egy 21. századi képesség, a komplex problémamegoldás mérésére. A MicroDYN modell alkalmazásával fejlesztett problémamegoldó képességet mérő teszt az eDia online mérés-értékelési platform segítségével került felvételre. A kutatás során alkalmazott mérőeszköz 10 különböző komplexitású problémát tartalmazott. A problémák felfedezése és megoldása során alkalmazott interakciók rögzítésre kerültek. A logadatok formájában rendelkezésre álló viselkedés adatokat elemeztük a célból, hogy feltérképezzük a különböző felfedező, problémamegoldó és tesztmegoldó stratégiák hatékonyságát és azok problémamegoldó teljesítményre gyakorolt hatását. A szakirodalomban elérhető hasonló elemzések mind európai országokban tanuló diákokra vonatkoztak, arab diákok problémamegoldó viselkedésének elemzésére eddig nem került sor. Az invarianciaelemzések eredménye alapján megállapítható volt, hogy az arab felsőoktatásban tanuló diákok azonos módon értelmezték a problémákat, azaz a komplex problémamegoldó képesség kétdimenziós modellje – ami megkülönbözteti a tudás elsajátításának és alkalmazásának fázisát – megerősítésre került. A nemzetközi összehasonlító elemzés eredménye (Jordánia és Magyarország) nagy különbségeket azonosított a tanulók tesztmegoldási viselkedésében, amely különbségek a probléma megoldása során alkalmazott felfedező stratégia hatékonyságában, a problémák megoldásával töltött időben, illetve a kattintások (próbálkozások) számában volt azonosítható. A felfedező stratégia hatékonyságát monitorozó címkézett viselkedési adatokat elemző látens profil elemzés eredménye mind a jordán, mind a magyar mintában négy csoportot azonosított. A vizsgált viselkedési indikátorok nem bizonyultak invariánsnak a különböző látens profillal rendelkező csoportokban, azaz nemzetközi szinten a különböző látens profilú csoportok között szignifikáns különbséget azonosítottunk a végrehajtott manipulációk számát, a feladatra fordított időt és az alkalmazott stratégia típusát tekintve. A kutatás eredményei alapján megállapítható, hogy az online számítógép-alapú mérés-értékelés megvalósítható, releváns és megbízhatóan alkalmazható a jordániai felsőoktatási környezetben. Az eredmények hozzájárultak annak megértéséhez, hogyan viselkednek a különböző oktatási környezetből érkező diákok komplex problémák megoldása közben.

Abstract in foreign language

This study investigated the feasibility and the applicability of using the third generation computer-based assessment of complex problem solving (CPS) based on the MicroDYN approach at the Jordanian higher education level. The tests were administered online via the eDia assessment platform for all data collections processes. We also investigated the role of strategic exploration and different problem-solving and test-taking behaviours in CPS success, using logfile data to visualize and quantify students’ problem-solving behaviour on ten CPS problems with varying difficulty levels and characteristics. Additionally, in the present study, we go beyond the borders of most studies that focus on students’ problem-solving behaviour pattern analyses in European cultures and education systems and examine Arabic students’ CPS behaviour. Results show that students in the Arabic school system interpret CPS problems the same way. That is, we confirmed the two-dimensional model of CPS, indicating the processes of knowledge acquisition and knowledge application as separate dimensions during the problem-solving process. Analyzing log data, we have identified large differences in students’ test-taking behavior in terms of the effectiveness of their exploration strategy, time-on-task, and number of trials at an international level (Jordan and Hungary). We identified four latent classes in both samples based on the students’ exploration strategy behavior. The tested process indicators proved to be non-invariant over the different latent profiles; that is, there are big differences in the role of the number of manipulations executed, time-on-task, and type of strategy used in actual problem-solving achievement between students that fall within different thinking profiles. Based on the results from the studies, we can conclude that online computer-based assessment is valid and reliable in the Jordanian higher education context. This study contributes to understanding how students from different educational contexts behave while solving complex problems.

Item Type: Thesis (Doctoral thesis (PhD))
Creators: Alrababah Saleh Ahmad
Hungarian title: A komplex problémamegoldó képesség mérése Jordán felsőoktatási környezetben: megvalósíthatóság, konstruktum validitás és logfájl-alapú viselkedésmintázat elemzés
Supervisor(s):
Supervisor
Position, academic title, institution
MTMT author ID
Molnár Gyöngyvér
intézetvezető egyetemi tanár, Neveléstudományi Intézet SZTE / BTK
10001803
Subjects: 05. Social sciences > 05.03. Educational sciences
Divisions: Doctoral School of Education
Discipline: Humanities > Pedagogy
Language: English
Date: 2022. November 29.
Uncontrolled Keywords: Complex problem solving, Higher education, Logfile analyses, The MicroDYN approach, Information and communications technology, Computer-based assessment, Test-taking behavior, Exploration strategies; komplex problémamegoldás, felsőoktatás, logfájl elemzés, MicroDYN megközelítés, információs és kommunikációs technológiák, számítógép alapú tesztelés, tesztmegoldási viselkedés, felfedező stratégiák
Item ID: 11463
MTMT identifier of the thesis: 34127742
doi: https://doi.org/10.14232/phd.11463
Date Deposited: 2022. Sep. 13. 08:10
Last Modified: 2023. Sep. 06. 09:19
Depository no.: B 7144
URI: https://doktori.bibl.u-szeged.hu/id/eprint/11463
Defence/Citable status: Defended.

Actions (login required)

View Item View Item