1.4. Características de ICILS 2023

El Marco de evaluación de ICILS 2023 proporciona la base conceptual para la elaboración de los instrumentos de evaluación, y supone el documento teórico de referencia para la adecuada comprensión del estudio, su diseño, su contenido, sus objetivos y sus implicaciones (Fraillon et al., 2023 ). El documento puede desglosarse en dos marcos principales, uno para el constructo de CD y otro para el de PC, y un tercer marco de carácter contextual.

Marco de competencia digital (CD)

La definición de CD descrita para el estudio ICILS (Figura 1.3.) quedó establecida en 2013, y se ha mantenido para los dos ciclos posteriores (2018 y 2023). Esta definición aglutina tanto la competencia técnica (informática) como la capacidad intelectual (competencias convencionales, incluida la de la información). El constructo de CD queda desarrollado en cuatro dominios que comprenden las destrezas, los conocimientos y la comprensión que aborda la evaluación de la CD (Figura 1.3.). A su vez, cada dominio se subdivide en dos aspectos que lo concretan, y que quedan resumidos en la Tabla 1.2.

Marco de pensamiento computacional (PC)

La definición de PC descrita para el estudio ICILS (Figura 1.4.) quedó establecida en 2018 y se ha mantenido para la presente edición. La definición es coherente con el enfoque del PC para la resolución de problemas en el que estos y sus soluciones están enmarcados de una manera adecuada en algoritmos y pasos que pueden ejecutarse por ordenador. El constructo PC queda desarrollado en dos dominios que engloban las capacidades, conocimientos y comprensión que aborda la evaluación del PC (Figura 1.4.). A su vez, cada dominio se subdivide en dos o tres aspectos que lo desarrollan, y que aparecen resumidos en la Tabla 1.3.

Marco contextual

El marco contextual describe la información recopilada para ayudar a comprender las variaciones en CD y PC, reflejando la perspectiva de que su aprendizaje tiene lugar dentro de una estructura multinivel, donde cada estudiante se sitúa en contextos superpuestos de aprendizaje escolar y extraescolar, ambos integrados en una comunidad más amplia que comprende las dimensiones local, nacional, supranacional e internacional. Al igual que en ciclos anteriores, este marco distingue cuatro niveles contextuales superpuestos:

• Comunidad: comprende los contextos de las comunidades locales, así como las características del sistema educativo y del país. Además, abarca el contexto global, un factor ampliamente potenciado por el acceso a internet. Es el nivel contextual más amplio en el que tiene lugar el aprendizaje de la CD y el PC.
• Centros educativos y aulas: abarca todos los factores relacionados con el centro educativo. Dada la naturaleza transversal del aprendizaje de la CD y el PC, no resulta útil distinguir entre el nivel de aula y el nivel del centro.
• Entorno doméstico: relacionado con las características del entorno del estudiante, especialmente en lo que se refiere a los procesos de aprendizaje asociados a la familia, el hogar y otros contextos extraescolares inmediatos.
• Individual: engloba las características personales del estudiante, los procesos de aprendizaje y el nivel de CD y PC de la persona en cuestión.

Adicionalmente, los factores contextuales en el proceso de aprendizaje pueden clasificarse en:

• Antecedentes: factores exógenos que condicionan la forma en que tiene lugar el aprendizaje de la CD y el PC, y no están influenciados por las variables o resultados del mismo.
• Procesos: factores que influyen directamente en el aprendizaje de la CD y el PC. Están limitados por los antecedentes y otros factores de nivel superior.

Los instrumentos de evaluación de ICILS 2023 pretenden recopilar resultados y variables de contexto mediante diferentes maneras. Los materiales dirigidos al alumnado español consisten en una prueba cognitiva y un cuestionario de contexto. Por otra parte, el equipo directivo de los centros educativos, sus correspondientes coordinadores TIC y el profesorado de los mismos están llamados también a rellenar sendos cuestionarios. Asimismo, el propio centro coordinador del estudio recaba información adicional mediante la encuesta de contexto nacional.

La prueba de conocimiento del alumnado constituye la principal fuente para conocer el rendimiento de los estudiantes de 2.º de ESO en competencia digital. Para ello, se han diseñado un total de 7 módulos de evaluación con temáticas actuales y variadas, consistentes en un número variable de preguntas o ítems de carácter breve, y una tarea larga a elaborar al final de cada módulo. Entre ellos, 4 módulos son de tendencia o anclaje, es decir, comunes a las evaluaciones previas para poder analizar la evolución del rendimiento a lo largo del tiempo, mientras que los otros 3 módulos son completamente nuevos para ICILS 2023. Todos ellos presentan una interfaz que mimetiza entornos informáticos reales, tanto de internet como aplicaciones de escritorio particulares. Durante el desarrollo de la prueba, cada estudiante debe completar por ordenador 2 módulos de evaluación, seleccionados de manera aleatoria, en un tiempo máximo de 30 minutos para cada uno de ellos.[3] Los ítems desarrollados para el test cognitivo incluyen preguntas de elección múltiple, ítems de respuesta abierta y tareas largas utilizando contenidos web y programas de software (procesadores de texto, programas de presentación, etc.).

Por otra parte, el cuestionario del estudiante consta de 27 preguntas que dan a conocer las variables contextuales del alumnado, abordando las características personales de los estudiantes, su experiencia y empleo de los ordenadores y las TIC para realizar diferentes tareas dentro y fuera del entorno escolar, así como sus actitudes hacia el uso de dispositivos informáticos. El tiempo estimado para que el alumnado rellene este cuestionario es de unos de unos 30 minutos.

Con el fin de recoger información de otras variables contextuales que inciden directamente en el estudio, se invita también a participar a los restantes miembros de la comunidad escolar en sendos cuestionarios de unas 19-24 preguntas, con una media hora de duración estimada. El cuestionario del profesorado se centra en las percepciones sobre distintos factores y aspectos de las TIC, tales como su experiencia previa, su uso cotidiano en el aula y la formación permanente en las mismas. La información proporcionada por el coordinador/a TIC en su cuestionario gira en torno a la provisión de recursos del centro y al apoyo técnico y pedagógico para los docentes en la utilización de las TIC. Finalmente, el cuestionario del equipo directivo engloba las características del centro escolar y sus políticas, procedimientos y prioridades generales en cuanto a las TIC. Asimismo, también incluye cuestiones relacionadas con la influencia de la pandemia en la enseñanza y el aprendizaje en sus centros.

Las preguntas empleadas en los cuatro cuestionarios de contexto del alumnado, profesorado, coordinador/a TIC y equipo directivo consisten en ítems de tipo Likert (valoración de una serie de afirmaciones en una escala de varios puntos), preguntas de respuesta múltiple, ítems de respuesta categórica (elección de la opción más apropiada entre dos o más categorías de respuesta), junto con cuestiones de respuesta abierta.

[3] En el anexo del presente informe digital pueden consultarse pantallazos con ejemplos de ítems liberados de dos módulos de evaluación utilizados en ICILS 2023. Sin embargo, dado el carácter interactivo y dinámico de las pantallas de la prueba, se recomienda consultar también ahí el apartado que redirije a la web de la IEA donde se puede encontrar más información al respecto.