- Bienvenido
- Welcome
The Use of the Common European Framework of Reference for Languages to Evaluate Compositions in the English Exam Section of the University Admission Examination
Authors
María Belén Díez-BedmarSalto de línea Universidad de Jaén. Facultad de Humanidades y Ciencias de la Educación. Departamento de Filología Inglesa. Jaén, España.
Abstract
The Common European Framework of Reference for Languages (CEFR) (Council of Europe, 2001) has become the standard used to describe and evaluate students’ command of a second or foreign language. However, it has not been used yet to evaluate students’ command of English as a foreign language before entering university, i.e., when taking the English exam portion of the University Admission Examination. This paper aims at bridging this gap in the literature by means of a twofold objective. First, to use the CEFR to evaluate the compositions written for the University Admission Examination and explore the level of proficiency displayed there. Second, to analyse inter-rater reliability when raters use the CEFR, so as to unveil the problems raters find in actual use. A representative sample of the compositions written on one topic in the exam was selected, and two raters were asked to evaluate them according to the CEFR. The results in this article show that inter-rater reliability is very low (k= .245) when raters use the CEFR The findings also highlight that, in the cases where there was total inter-rater agreement, most of the compositions (91.33%) were placed at the B1 level. The results of this paper can inform raters, test designers and education authorities of the marks awarded to student compositions at this stage. Moreover, the findings highlight the rating aspects which would have to be revised or adapted if the CEFR is to be used in the future to mark compositions in the English exam portion of the University Admission Examination.
Keywords
Evaluation, written expression, foreign languages, Common European Framework of Reference for Languages, proficiency levels, University Admission Examination, inter-rater reliability.
Resumen
El uso del Marco Común Europeo de Referencia para las Lenguas para evaluar las redacciones en la sección de inglés de la Prueba de Acceso a la Universidad
El Marco Común Europeo de Referencia para las Lenguas (MCER) (Consejo de Europa, 2001) se ha convertido en el estándar para describir y evaluar el dominio que los estudiantes tienen en una segunda lengua o lengua extranjera. Sin embargo, no se ha utilizado aún para evaluar el dominio de inglés que los alumnos tienen antes de entrar en la universidad, es decir, cuando escriben su examen de Inglés en las Pruebas de Acceso a la Universidad. Este artículo tiene como objetivo cubrir esta laguna existente por medio de un doble objetivo. Primero, usar el MCER para evaluar las redacciones escritas en dicho examen y explorar los niveles en los que se encuentran las redacciones. En segundo lugar, analizar la fiabilidad interjueces cuando se utiliza el MCER para descubrir los problemas que se encuentran al utilizarlo. Para poder alcanzar estos objetivos, se seleccionó una muestra representativa de las redacciones escritas sobre un tema en el examen, y se pidió a dos evaluadoras que clasificaran las redacciones de acuerdo con el MCER. Los resultados de este artículo muestran que la fiabilidad interjueces es muy baja (k= ,245) cuando se utiliza el MCER. Los datos obtenidos también apuntan a que, teniendo en cuenta los casos en los que las dos evaluadoras tuvieron acuerdo total, la mayoría de las redacciones escritas por los alumnos (91,33%) se encuentra en el nivel B1. Estos resultados pueden informar a los evaluadores, los diseñadores de pruebas y a las autoridades educativas sobre los niveles otorgados a las redacciones. Los datos aportados también señalan qué aspectos necesitarían revisión o adaptación si el Marco Común de Referencia de las Lenguas se va a utilizar en el futuro para evaluar las redacciones en el examen de inglés de la Prueba de Acceso a la Universidad.
Palabras clave
Evaluación, expresión escrita, lenguas extranjeras, Marco Común Europeo de Referencia para las Lenguas, niveles, Prueba de Acceso a la Universidad, fiabilidad interjueces