Establishing the Context and Scoring Validity of the Writing Tasks of Euroexam International’s English for Academic Purposes Test

Preview	PDF (thesis) Download (3MB) | Preview
Preview	PDF (booklet) Download (374kB) | Preview
Preview	PDF (booklet) Download (378kB) | Preview

Abstract in Hungarian

A kutatás célja egy helyi fejlesztésű angol nyelvű tudományos szaknyelvi vizsga (English for Academic Purposes – EAP) írásfeladatai validitásának, azaz érvényességének megállapítása és bizonyítása. A kutatáson alapuló vizsgafejlesztés célja annak bizonyítása, hogy a konstruktum valóban tükrözi azokat a képességeket és (nyelvi) készségeket, amelyekre a vizsgázónak az angol nyelvű felsőoktatási tanulmányai során szüksége van, valamint az elért eredmények megbízható és független értékelés alapján születtek. A disszertáció az Euroexam International Vizsgaközpont English for Academic Purposes Test két írásfeladatának (tranzakciós e-mail és érvelő esszé) fejlesztési folyamatát mutatja be a következő egymásra épülő szakaszokon keresztül: (a) előkészítési szakasz; (b) a specifikáció és a teszt itemek létrehozása; és (c) a feladatok kipróbálása és pretesztelése. Mivel a nemzetközi felsőoktatási intézmények által elvárt egyik fő követelmény az értékelés objektivitása, a kutatás negyedik, empirikus szakasza az esszé feladat értékelésére fókuszál. Az értékelés standardizáltságának és megbízhatóságának növelésére érdekében ez a kutatási szakasz egy szint- és műfajspecifikus lista alapú értékelési eszköz fejlesztését és használatát mutatja be, amely kiválthatja a jelenleg akkreditált Euroexam értékelési skálát. A kevert módszerű kutatásra alapuló, a konstruktum validitásának megállapításához kapcsolódó vizsgálat módszertana az előkészítési szakaszban Bachman és Palmer (1996) jóságmutatóit használja; a fejlesztési szakaszban, a specifikáció elkészítéséhez, a teszt itemek létrehozásához és próbájához Weir (2005) szocio-kognitív keretét valamint Read (2015) gyakorlatát követi.

Abstract in foreign language

The main objective of the research is to develop validity arguments in support of the writing tasks of a C1 level English for Academic Purposes (EAP) test to be implemented by Euroexam International, Budapest. I deployed a research-based development process to build a validity argument about how the construct of the proposed writing tasks in an Academic test reflects the skills required in higher education, and whether the results reflect reliable scores and unbiased marking. The dissertation focuses on the two proposed writing tasks of the EAP test (formal transactional email and discussion essay). The research covers (a) the initial development stage; (b) the completion of the specifications and the test items; (c) the trialling and pre-testing of test items. Since the evidencing of objective and unbiased marking is one major requirement expected by international tertiary education institutions, the dissertation also aimed to collect and analyse data to improve the scoring validity of the essay task; and proposed a level a genre specific checklist-based rating tool instead of the C1 level accredited rating scale of Euroexam International. The method is built upon Weir’s (2005) theoretical framework and the characteristics of test usefulness (Bachman & Palmer, 1996; 2010), and consider Read’s (2015) validation stages, using a mixed-methods approach.

View Item