- Bienvenido
- Welcome
Rubrics do not neutralize Raters’ effects: A many faceted Rasch model estimation
Authors
Rubén Fernández-Alonso
Consejería de Educación y Cultura del Gobierno del Principado de Asturias y Universidad de Oviedo
Pamela Woitschach
University of British Columbia y Universidad de Oviedo
José Muñiz
Universidad de Oviedo
DOI
10.4438/1988-592X-RE-2019-386-428
Abstract
Constructed response items are widely used in all types of educational evaluations. Despite the use of very specific rubrics for scoring the items, the influence of raters is well documented in the literature, affecting the results of the evaluations. The main goal of the present study is the estimation of the effects of the raters and the rubrics in the assessment of written expression. We used 13 raters that reviewed 375 written productions of sixth grade students. The raters were assigned to the written essays following a 13-block Youden square, a balanced incomplete block design. In the data analysis, the many-faceted Rasch model was used with three facets: corrector, rubrics and difficulty of passing them. Different models were compared and the effects of the raters and the characteristics of the rubrics were analyzed. The results reveal the differences between the raters in terms of the severity and accuracy of their judgments. It is concluded that not considering the effect of the rater in the estimation of student outcomes can introduce a clear component of inequity in the evaluations.
Keywords
Educational assessment, rater, scoring rubrics, MRFM models
Resumen
Los ítems de respuesta construida son ampliamente utilizados en todo tipo de evaluaciones educativas. A pesar de la utilización de rúbricas muy específicas para su corrección, la influencia de los correctores está bien documentada en la literatura, afectando a los resultados de la evaluación. El objetivo central del presente trabajo es la estimación de los efectos de los correctores y de las rúbricas en una tarea de expresión escrita. Se utilizaron 13 correctores que revisaron 375 producciones escritas de estudiantes de sexto curso. Los correctores fueron asignados a los ensayos escritos siguiendo un cuadrado Youden de 13 bloques, un diseño de bloques incompletos balanceado. En el análisis de datos se empleó el modelo de Rasch de facetas múltiples con tres facetas: corrector, rúbricas y dificultad de paso de los mismos. Se compararon diferentes modelos y se analizaron los efectos del corrector y las características de las rúbricas. Los resultados ponen de manifiesto las diferencias entre los correctores en cuanto la severidad y la exactitud de sus juicios. Se concluye que no incluir el efecto del corrector en la estimación de los resultados del alumnado puede introducir un componente claro de inequidad en las evaluaciones.
Palabras clave
Evaluación educativa, correctores, rúbricas, Modelos MFRM