- Bienvenido
- Welcome
Eliminating the Third Distractor from Large-Scale Multiple-Choice Test Items
Authors
Laura Ortega Torres
César Antonio Chávez Álvarez
Centro Nacional de Evaluación para la Educación Superior, CENEVAL (México)
DOI
10.4438/1988-592X-RE-2020-388-450
Abstract
The elimination of the least functioning distractor of four-option items has been supported in studies with tests administered to a small number of examinees, showing its effects in the psychometric characteristics of the items and tests, as well as in the examinees’ scores. Nevertheless, their effects have not been yet explored in large-scale tests, which is the objective of this research.
This study analyzed upper secondary education (EXANI-I) and higher Education (EXANI-II and EXANI-III) admission tests, which are large-scale tests administered in admission processes and that entail a norm-referenced assessment and another, with an optional nature, criterion-referenced test. Due to the major impact of these tests, it was not possible to conduct a between-group comparative study ensuring assessment equity. Therefore, a simulation was conducted eliminating the least functioning distractor for each item and these responses where substituted reassigning them to the rest of the options randomly or according to the examinees’ abilities. The psychometric properties of the tests and the items were kept constant for both norm-referenced and criterion-referenced tests, while the effects on examinees depended on the test’s score referent. In norm-referenced tests there were some differences in the examinees’ rankings; however, they are within the expected changes due to the measurement errors in the tests. In the criterion-referenced tests the number of people with a passing level increased; this increment is corrected by recalculating the cut scores originally established, using the items with three-response options. Therefore, the results provide evidence to reduce the number of options in multiple-choice items of criterion-referenced and norm-referenced large-scale tests.
Keywords
multiple-choice items, number of option reduction, large-scale tests
Resumen
La eliminación del distractor menos funcional de ítems con cuatro opciones de respuesta ha sido respaldada en estudios con exámenes aplicados a pocos participantes, mostrando sus efectos en las características psicométricas de los ítems y las pruebas, así como en las calificaciones de los participantes. Sin embargo, sus efectos no han sido explorados en exámenes a gran escala, que es el objetivo de esta investigación.
En este estudio se analizaron los Exámenes Nacionales de Ingreso a la Educación Media Superior (EXANI-I) y a la Educación Superior (EXANI-II y EXANI-III), que son pruebas a gran escala que se aplican en procesos de admisión y comprenden una evaluación con referencia a la norma y otra, con carácter opcional, con referencia al criterio. Debido al gran impacto de estos exámenes no fue posible realizar un estudio comparativo entre grupos asegurando la equidad de la evaluación, por lo que se realizó una simulación donde se eliminó el distractor menos funcional de cada ítem y se sustituyeron estas respuestas reasignándolas al resto de las opciones de manera aleatoria o según las habilidades de los participantes. Las propiedades psicométricas de las pruebas y los ítems se mantuvieron para exámenes con referencia a la norma y al criterio, mientras que los efectos en los participantes dependieron de la referencia de calificación del examen. En los exámenes normativos hubo algunas diferencias en el ordenamiento de los participantes, sin embargo, están dentro de los cambios esperados dados los errores de medida de las pruebas. En los criteriales aumentó el número de personas con un dictamen aprobatorio, incremento que se corrige recalculando los puntos de corte establecidos originalmente, utilizando en esta ocasión los ítems con tres opciones de respuesta. Así, se aporta evidencia para reducir el número de opciones de respuesta en los exámenes a gran escala tanto criteriales como normativos.
Palabras clave
Ítems de opción múltiple; Reducción de Opciones de Respuesta; Exámenes a Gran Escala