Evaluación psicométrica de la expresión oral en inglés de las Pruebas de Acceso a la Universidad1
Autores
Javier Suárez-ÁlvarezSalto de línea Universidad de Oviedo, Facultad de Psicología, Departamento de Psicología. Oviedo. España.
César González-PrietoSalto de línea Rubén Fernández-AlonsoSalto de línea Consejería de Educación, Cultura y Deporte del Gobierno del Principado de Asturias. Oviedo. España.
Guillermo Gil Salto de línea Instituto Nacional de Evaluación Educativa del Ministerio de Educación, Cultura y Deporte. Madrid. España.
José MuñizSalto de línea Universidad de Oviedo, Facultad de Psicología, Departamento de Psicología. Oviedo. España.
DOI
10.4438/1988-592X-RE-2014-364-256
Resumen
El Real Decreto 1892/2008 establece que es obligatorio evaluar la expresión oral en lengua extranjera en la Prueba de Acceso a la Universidad (PAU), si bien hasta la fecha no se ha puesto en marcha tal evaluación. El Instituto Nacional de Evaluación Educativa (INEE) ha llevado a cabo un estudio piloto para ir perfilando la implementación de la prueba. Dentro de ese marco evaluativo, el objetivo del presente trabajo es estudiar el comportamiento psicométrico de los evaluadores encargados de examinar oralmente a los estudiantes. En este estudio participaron 1.194 estudiantes pertenecientes a siete comunidades autónomas, con una edad media de 18,04 años, de los cuales el 57,4% eran mujeres. Cada estudiante fue evaluado por tres profesores. Se utilizaron 30 tribunales distintos, y en la evaluación participó un total de 90 profesores. Los análisis se realizaron utilizando la matriz formada por los alumnos evaluados por el mismo tribunal evaluador. Los resultados muestran que las puntuaciones asignadas por los distintos evaluadores a los estudiantes tienen unas altas correlaciones, lo que indica una elevada fiabilidad interjueces. Esta convergencia correlacional no significa que todos los evaluadores operen en la misma escala, ya que se encuentran diferencias estadísticamente significativas entre las medias de las puntuaciones asignadas por los evaluadores. Los resultados aportan datos muy importantes sobre los problemas implicados en la evaluación de la expresión oral en inglés. El estudio muestra la viabilidad técnica de examinar la expresión oral en inglés, si bien quedan aún bastantes aspectos por precisar. Así por ejemplo, los examinadores deberían ser entrenados específicamente en el material de evaluación y en las guías de calificación para minimizar el efecto diferencial de los evaluadores. Finalmente se discuten los resultados y se proponen nuevas líneas de investigación.
Palabras clave
Prueba de Acceso a la Universidad (PAU), expresión oral, Inglés, fiabilidad interjueces, validez.
Abstract
A new law enacted in Spain in 2008 makes it mandatory to assess oral expression in a foreign language as part of the standard university admissions examination (PAU), but no such test has been instituted to date. The Spanish National Institute for Educational Evaluation (INEE) has conducted a pilot study to begin outlining the implementation of such a test. Within this framework, the main goal of this research is to study the psychometric behaviour of the testers assigned to administer the oral test. A sample of 1194 students from seven Spanish autonomous communities is used. The sample is a mean of 18.04 years old and 57.4 percent women. Each student is evaluated by three teachers. Teachers are organized into thirty committees, so a total of ninety teachers are involved in the study. Data are analyzed using a matrix composed of all the students assessed by the same committee. The results show that the scores students earn from different teachers are highly correlated, which indicates good inter-rater reliability. High correlations between teacher scores do not mean that all teachers are using the same scale, however, since statistically significant differences are found between mean scores. The results of this study provide important data on the problems involved in assessing oral expression in the English language. This research demonstrates the technical viability of assessing oral expression in English, although several issues do remain unresolved. For example, testers should be specifically trained in the assessment process and scoring criteria in order to minimize the differential effect of assessment by multiple testers. The results are discussed and new lines of research are suggested.
Keywords
University admissions examination, oral expression, English language, inter-rater reliability, validity.