Análisis de la dimensionalidad en modelos de valor añadido: estudio de las pruebas de matemáticas empleando métodos no paramétricos basados en TRI
Autores
Luis Lizasoain HernándezSalto de línea Luis Joaristi OlariagaSalto de línea Universidad del País Vasco-Euskal Herriko Unibertsitatea. Departamento de Métodos de Investigación y Diagnóstico en Educación (MIDE). Donostia – San Sebastián, España.
Resumen
La evaluación basada en el valor añadido implica una metodología en la que se asumen supuestos fuertes. Se hace uso de diseños longitudinales y las puntuaciones de cada una de las mediciones deben ser situadas en una escala común. Ese escalamiento común supone un sólido diseño de equiparación. La única forma para asegurar la posibilidad de comparación dentro de los diseños longitudinales es emplear un modelo de medición donde toda escala comparte las mismas propiedades métricas. La posibilidad de la estimación en una escala común se basa en el supuesto de independencia local. El objetivo de este trabajo es analizar la estructura dimensional de las pruebas empleadas para evaluar el rendimiento académico en la asignatura de matemáticas en el contexto de la evaluación realizada en la Comunidad de Madrid en los cursos académicos 2005-06 y 2006-07 en tres cohortes: 5º y 6º de Educación Primaria, 1º-2º y 3º-4º de ESO.Para ello se evalúa su posible «unidimensionalidad» y la simplicidad o complejidad de su estructura empleando métodos no paramétricos basados en la Teoría de la Respuesta Ítem (TRI). Los resultados confirman estructuras esencialmente unidimensionales. A su vez, se comprueba que el aumento de la complejidad de los contenidos implica un aumento en la complejidad de la estructura dimensional de las pruebas. Los modelos de medida utilizados son ciertamente bastante robustos frente a las violaciones leves de los supuestos relacionados con la independencia local.
Palabras clave
Dimensionalidad, DIMTEST, DETECT, escalamiento vertical, valor añadido.
Abstract
Analysis of dimensionality at value-added models: a study of math test using non parametric methods based on item response theorySalto de línea Salto de línea The added value based assessment implies the use of a methodology where strong assumptions are assumed. On one hand, longitudinal designs are used and, on the other hand, the scores of every time-moment have to be recoded into a common scale. This common scaling implies a robust equating design.The only way to ensure the comparability within the longitudinal designs is to use a measurement model where every scale shares the same metric properties.The possibility of common scale estimates is based upon the local independence assumption.The aim of this paper is to analyze the dimensional structure of a set of mathematics achievement tests used to assess the academic achievement in the Community of Madrid during 2005-06 and 2006-07 years and in three cohorts corresponding to the following academic degrees: 5th-6th of Primary Education, 1st-2nd and 3-4th of Obligatory Secondary Education. Their essential unidimensionality and the level of simplicity/complexity of their structure are assessed using nonparametric IRT-based procedures.These results confirm that the most of the tests have an essential unidimensional structure. In turn, the more of the contents complexity, the more of the tests dimensional structure complexity.The measurement models that have been used are certainly quite robust to minor violations related to the local independence assumptions.
Keywords
Dimensionality, DIMTEST, DETECT, vertical scaling, added value