- Bienvenido
- Welcome
- Home
- Issues
- Past issues
- Año 2016
- Issue 371
- Article Nº2
Characterization of behavior of correctors when grading mathematics tests
Authors
Alberto Arnal-BaileraSalto de línea José María Muñoz-EscolanoSalto de línea Universidad de Zaragoza
Antonio M. Oller-MarcénSalto de línea Centro Universitario de la Defensa de Zaragoza
DOI
10.4438/1988-592X-RE-2015-371-307
Abstract
In this work, we present some results obtained from the analysis of the behavior of 91 mathematics teachers (prospective, secondary education and university) when they grade three different types of correct answers to a classical high school problem through a questionnaire. In addition to a descriptive analysis that studies the variability and the interrater reliability, we analyze the role of experience and training as well as the influence of the different solving methods. Furthermore, we try to identify profiles of correctors among secondary education teachers using both quantitative (cluster analysis) and qualitative (content analysis) methods. In particular, we observe a great variability on the assigned grades as well as a low interrater reliability. The belonging to a particular group has impact over the assigned rates while experiemce has no significant influence. The grades are higher when methods closer to the corrector are used. Finally, we have been able to identify three different clusters, which are determined by the comments and actions regarding three aspects of the students’ answers: argumentation, correctness and method.
Keywords
Scoring, mathematical tests, evaluators, profiles, interrater reliability.
Resumen
En este trabajo presentamos algunos resultados obtenidos al analizar el modo en que 91 profesores de matemáticas (en formación, de Secundaria y de Universidad) califican 3 tipos de respuestas correctas de un problema típico de Bachillerato a través de un cuestionario. Además de un análisis descriptivo con el que se estudia la variabilidad en las calificaciones y la fiabilidad interjueces, analizamos el papel de la experiencia docente y la formación de los correctores así como la influencia de los distintos métodos de resolución. Por otro lado, abordamos la identificación de perfiles de correctores entre los profesores de Educación Secundaria utilizando métodos cuantitativos (análisis de conglomerados) y cualitativos (análisis de contenido). En particular se observa una gran variabilidad en las puntuaciones otorgadas y una baja fiabilidad interjueces. El colectivo de pertenencia tiene impacto sobre las calificaciones de los correctores mientras que la experiencia docente no influye significativamente. La calificación otorgada por parte de los correctores es mayor cuando se utilizan métodos más cercanos a su práctica docente. Finalmente, se han identificado tres conglomerados de correctores caracterizados por sus comentarios y actuaciones relativos a tres aspectos de las respuestas de los alumnos: la argumentación, la corrección matemática y el método de resolución utilizado.
Palabras clave
Calificación, exámenes de matemáticas, evaluadores, perfiles, fiabilidad entre correctores.