La metodología de los estudios PISA
Autores
Rosario Martínez AriasSalto de línea Universidad Complutense.
Resumen
La OCDE ha llevado a cabo un gran esfuerzo en una serie de estudios conocidos como The Programme for International Student Assessment (PISA). Probablemente, PISA-2003 es uno de los más amplios y complejos estudios internacionales de rendimiento educativo. Este artículo describe los aspectos metodológicos de PISA-2003 y resume las principales actividades en el desarrollo de los instrumentos de recogida de datos, traducción de los instrumentos de evaluación, diseño muestral, análisis de datos y la presentación de los resultados. Se evalúa la calidad metodológica del estudio desde los criterios establecidos por el National Research Council. Se concluye destacando los esfuerzos realizados para obtener buenas tasas de respuesta y en el diseño de los instrumentos, así como la atención prestada a las lecciones aprendidas de estudios anteriores. Aunque PISA es metodológicamente correcto en todos los frentes, quedan algunas cuestiones no resueltas, como la falta de motivación de los alumnos en las evaluaciones sin consecuencias, el rigor en el control de las tasas de respuesta y exclusiones, la equidad y neutralidad en la investigación y el uso e impacto de los resultados.
Palabras clave
Evaluación internacional, diseño de tests, teoría de la respuesta al ítem, valores plausibles, pesos de muestreo, niveles de rendimiento, informes.
Abstract
The methodology of PISA studiesSalto de línea Salto de línea The OECD has invested heavily in a series of studies known as «The Programme for International Student Assessment (PISA)». Probably, PISA-2003 is one of the most largest and complex international educational surveys. This paper describes the technical aspects of PISA-2003 and summarizes the main activities involved in the development of the data collection instruments, test translation, sample design, data analysis, and reporting of the results. We assess the methodological quality from the point of view of National Research Council’s criteria. Considerable efforts have been made to obtain good response rates and careful attention has been devoted to the design of instruments, and many lessons from previous studies were clearly absorbed. PISA is technically sound on virtually all fronts, but there are some questions unanswered such as the student’s motivation in low-stake assessments, the rigor in fulfilling of rates of response and exclusions, research neutrality and fairness and the use and impact of the results.
Keywords
International assessment, test design, Item Response Theory, plausible values, sampling weights, achievement levels, reporting.