Pensémoslo de nuevo: ¿Podemos comparar las escalas de antecedentes socioeconómicos?
Autores
Andrés Sandoval-HernandezSalto de línea University of BathSalto de línea David RutkowskiSalto de línea Indiana UniversitySalto de línea University of OsloSalto de línea Tyler Matta Salto de línea Pearson Salto de línea University of OsloSalto de línea Daniel MirandaSalto de línea Pontificia Universidad Católica de Chile, MIDE UCSalto de línea Centro de Estudios de Conflicto y Cohesión Social
DOI
10.4438/1988-592X-RE-2019-383-400
Resumen
Utilizando datos de evaluaciones internacionales de gran escala, evaluamos la consistencia y la invarianza de las escalas de antecedentes socioeconómicos de los estudiantes entre los países participantes en estos estudios. Para ello, utilizamos las medidas de antecedentes socioeconómicos desarrolladas por PISA, TERCE y TIMSS, ya que cada estudio operacionaliza esta medida de manera diferente. Como parte de nuestro análisis, examinamos si la escala de TERCE, un estudio latinoamericano –con medidas que fueron desarrolladas con enfoque regional– exhibe mejores propiedades psicométricas que otras medidas que fueron diseñadas para funcionar en un número mayor y más diverso de sistemas educativos. Adicionalmente, examinamos la escala de TIMSS, un estudio enfocado en tendencias –que históricamente ha enfatizado la comparabilidad y consistencia–. Finalmente, incluimos también la escala de PISA, que cuenta con el mayor número de participantes y que, en cierta medida, ha cambiado y conceptualizado sus cuestionarios de contexto dependiendo el dominio principal y el foco de cada ciclo del estudio. Nuestros resultados sugieren que ninguna de las escalas de contexto que analizamos son completamente invariantes entre los países que participan en cada estudio, y por lo tanto las comparaciones entre países deben hacerse con precaución. Este artículo discute los niveles de equivalencia alcanzados por cada escala en cada estudio, así como el tipo de comparaciones que se pueden realizar dados estos resultados (e.g. comparación de los promedios nacionales de las escalas, comparación de relaciones o correlaciones entre las escalas evaluadas y otras variables, etc.).
Palabras clave
Measurement invariance, measurement equivalence, TERCE, TIMSS, PISA, multi-group confirmatory factor analysis, socio economic scales.
Abstract
Using data from international large-scale assessments (ILSA), we evaluate the issue of country-level model-data consistency of background socio-economic scales, as well as the invariance across countries. To that end, we use data from PISA, TERCE, and TIMSS, as they operationalize socio-economic status somewhat differently. As part of our analysis, we examine whether TERCE, a Latin American study – with measures that are regionally developed – exhibits better psychometric properties than measures that are designed to function across a larger and more diverse number of educational systems. We also examine TIMSS, a trends focused study – that has historically emphasized consistency and comparison. Finally, we include PISA which has the largest number of participants and has changed and conceptualized a great deal of its background questionnaire depending on the study’s major domain and focus. Our findings suggest that none of the socioeconomic background scales we analyzed are fully invariant in any of the three studies, and therefore comparisons across countries should be done with caution. The different levels of equivalence reached by each scale in each study and the type of comparisons that can be made given these results (e.g., comparison of average scale scores, comparison of relationships between the tested scales and other variables) are discussed in the full paper.
Keywords
Measurement invariance, measurement equivalence, TERCE, TIMSS, PISA, multi-group confirmatory factor analysis, socio-economic scales