Vinculación de la prueba de comprensión oral del examen CertAcles de la Universidad de Granada con el MCER
Autores
Caroline ShackletonSalto de línea Universidad de Granada
DOI
10.4438/1988-592X-RE-2017-381-380
Resumen
Este estudio, como parte del proceso de validación fehaciente del uso e interpretación de las puntuaciones del examen de inglés binivel de la Universidad de Granada (UGR), pretende relacionar, oficialmente, la prueba de comprensión oral de este examen con el Marco Común Europeo de Referencia (MCER). Con tal fin seguimos las recomendaciones del Consejo de Europa (2009) para determinar unos puntos de corte representativos de los niveles B1 y B2 del MCER. La prueba utilizada en el estudio fue la convocatoria de marzo del 2017 (N=464), que demostró ser un instrumento de medición fiable y apropiado. En el estudio participaron diez expertos, quienes, tras una sesión para familiarizarse con el MCER, realizaron varias sesiones de fijación de puntos de corte. Se utilizaron dos métodos: el método Basket, o de la cesta, para familiarizar a los participantes con los ítems de la prueba. después del cual se analizaron los resultados empleando un modelo de múltiples facetas de Rasch (MFR); por otro lado, el método Bookmark, o del marcador, que incorporó parámetros de dificultad del ítem, resultantes de un análisis Rasch de los puntajes de la prueba. La mediana final de los puntos de corte aportados por los expertos se calculó empleando una probabilidad de respuesta de 0.67, y se transfirió a la escala de capacidad zeta del modelo Rasch para determinar las puntuaciones brutas que representarán los dos niveles de dominio del MCER en cuestión. También se realizaron otros controles de fiabilidad y de validez para proporcionar una documentación trasparente sobre el proceso completo, recomendado por el Consejo de Europa (2009). El método de equiparación de puntuaciones del modelo Rasch permite que los puntajes sean reproducibles en futuras versiones de la prueba y, por tanto, apoyan la inferencia de generalización del argumento de validez para la prueba binivel de la UGR.
Palabras clave
Pruebas de competencia lingüística, fijación de puntos de corte, validez, la teoría de respuesta al ítem
Abstract
As part of the ongoing collection of validity evidence to support the interpretation and use of the UGR bi-level English test scores this study aims to formally map the oral comprehension part of the test to the Common European Framework of Reference (CEFR). The advice provided by the Council of Europe (2009) was followed in order to determine cut scores which are representative of CEFR B1 and CEFR B2 levels. The test used in the study was from the March 2017 administration (N=464) which was shown to be a reliable and appropriate measurement instrument. The study involved ten participant judges who, after a CEFR familiarisation session, took part in standard setting sessions. Two methods of standard setting were employed. The Basket method was used mainly in order to familiarise the participants with the test items and was analysed using a Many-Facet Rasch measurement model. The Bookmark method allowed for the incorporation of item difficulty parameters produced by a Rasch analysis of test scores. The final median cut scores of the judges using a response probability of .67 were mapped back to the Rasch theta ability scale in order to determine the raw scores which represent the two CEFR ability levels. Several other validity and reliability checks were also carried out following CoE (2009) and transparent documentation on the whole process is provided. By using Rasch common item equating, the scores are reproducible on future versions of the test and so support the generalisation inference of the UGR test’s validity argument.
Keywords
Proficiency tests (language), standard setting, validity, item response theory