Establishing the Context and Scoring Validity of the Writing Tasks of Euroexam International’s English for Academic Purposes Test

Fűköh Borbála
Establishing the Context and Scoring Validity of the Writing Tasks of Euroexam International’s English for Academic Purposes Test.
Doctoral thesis (PhD), University of Szeged.
(2020)

[thumbnail of Fukoh_Borbala_doktori_PhD_ertekezés_2020.pdf]
Preview
PDF (thesis)
Download (3MB) | Preview
[thumbnail of Fukoh_Borbala_doktori_PhD_ertekezes_2020_tezisek_angol.pdf]
Preview
PDF (booklet)
Download (374kB) | Preview
[thumbnail of Fukoh_Borbala_doktori_PhD_ertekezes_2020_tezisek_magyar.pdf]
Preview
PDF (booklet)
Download (378kB) | Preview

Abstract in Hungarian

A kutatás célja egy helyi fejlesztésű angol nyelvű tudományos szaknyelvi vizsga (English for Academic Purposes – EAP) írásfeladatai validitásának, azaz érvényességének megállapítása és bizonyítása. A kutatáson alapuló vizsgafejlesztés célja annak bizonyítása, hogy a konstruktum valóban tükrözi azokat a képességeket és (nyelvi) készségeket, amelyekre a vizsgázónak az angol nyelvű felsőoktatási tanulmányai során szüksége van, valamint az elért eredmények megbízható és független értékelés alapján születtek. A disszertáció az Euroexam International Vizsgaközpont English for Academic Purposes Test két írásfeladatának (tranzakciós e-mail és érvelő esszé) fejlesztési folyamatát mutatja be a következő egymásra épülő szakaszokon keresztül: (a) előkészítési szakasz; (b) a specifikáció és a teszt itemek létrehozása; és (c) a feladatok kipróbálása és pretesztelése. Mivel a nemzetközi felsőoktatási intézmények által elvárt egyik fő követelmény az értékelés objektivitása, a kutatás negyedik, empirikus szakasza az esszé feladat értékelésére fókuszál. Az értékelés standardizáltságának és megbízhatóságának növelésére érdekében ez a kutatási szakasz egy szint- és műfajspecifikus lista alapú értékelési eszköz fejlesztését és használatát mutatja be, amely kiválthatja a jelenleg akkreditált Euroexam értékelési skálát. A kevert módszerű kutatásra alapuló, a konstruktum validitásának megállapításához kapcsolódó vizsgálat módszertana az előkészítési szakaszban Bachman és Palmer (1996) jóságmutatóit használja; a fejlesztési szakaszban, a specifikáció elkészítéséhez, a teszt itemek létrehozásához és próbájához Weir (2005) szocio-kognitív keretét valamint Read (2015) gyakorlatát követi.

Abstract in foreign language

The main objective of the research is to develop validity arguments in support of the writing tasks of a C1 level English for Academic Purposes (EAP) test to be implemented by Euroexam International, Budapest. I deployed a research-based development process to build a validity argument about how the construct of the proposed writing tasks in an Academic test reflects the skills required in higher education, and whether the results reflect reliable scores and unbiased marking. The dissertation focuses on the two proposed writing tasks of the EAP test (formal transactional email and discussion essay). The research covers (a) the initial development stage; (b) the completion of the specifications and the test items; (c) the trialling and pre-testing of test items. Since the evidencing of objective and unbiased marking is one major requirement expected by international tertiary education institutions, the dissertation also aimed to collect and analyse data to improve the scoring validity of the essay task; and proposed a level a genre specific checklist-based rating tool instead of the C1 level accredited rating scale of Euroexam International. The method is built upon Weir’s (2005) theoretical framework and the characteristics of test usefulness (Bachman & Palmer, 1996; 2010), and consider Read’s (2015) validation stages, using a mixed-methods approach.

Item Type: Thesis (Doctoral thesis (PhD))
Creators: Fűköh Borbála
Hungarian title: Az Euroexam International vizsgaközpont English for Academic Purposes nyelvvizsga íráskészség feladatainak kontextus és értékelési validitás vizsgálata
Supervisor(s):
Supervisor
Position, academic title, institution
MTMT author ID
Barát Erzsébet
egyetemi docens, PhD, Angol Tanszék SZTE / BTK / AAI
10022254
Subjects: 06. Humanities > 06.02. Languages and Literature > 06.02.06. Linguistics > 06.02.06.03. Use of language: pragmatics, sociolinguistics, discourse analysis, second language teaching and learning, lexicography, terminology
Divisions: Doctoral School of Linguistics
Discipline: Humanities > Linguistics
Language: English
Date: 2020. December 04.
Uncontrolled Keywords: high-stakes language testing, test development, validation research, checklist-based assessment
Item ID: 10675
MTMT identifier of the thesis: 31836026
doi: https://doi.org/10.14232/phd.10675
Date Deposited: 2020. Oct. 15. 13:22
Last Modified: 2021. Nov. 08. 08:42
Depository no.: B 6755
URI: https://doktori.bibl.u-szeged.hu/id/eprint/10675
Defence/Citable status: Defended.

Actions (login required)

View Item View Item

Downloads

Downloads per month over past year