No salimos de una evaluación, que vamos con otra. ¿Qué pasa con la población adulta? PIACC 2023

Lo que viene a continuación es una versión blog o desplegada de este hilo de BlueSky y de este hilo de Twitter-X.

No salimos de una, que ya nos metemos con otra. Al igual que con TIMSS, si queréis hablamos un poquito sobre el PIAAC 2023 (Programa para la Evaluación Internacional de las Competencias de la Población Adulta). Hay gráficas graciosas (o no).

Si es que evaluamos por encima de nuestras posibilidades 🤭. Antes de compararnos con otros países y grupos de edad y empezar a hablar de que si el nivel baja, sube o se estanca, hay que asomarse a ver qué evalúa el PIAAC. Por empezar a poner algo de contexto a los datos y tal.

Este informe evalúa tres dominios: lectura, matemáticas y resolución adaptativa de problemas (APS). Este último es nuevo y sustituye al de solución de problemas en entornos informatizados del ciclo anterior (2013), por lo que NO se pueden hacer elucubraciones sobre su evolución.

Me centraré en las mates y en el APS. Este último, no puede considerarse estrictamente de resolución de problemas en matemáticas, pero hay correlación entre los procesos que buscan evaluar y los procesos que se movilizan en la RP en mates.

Este es un ejemplo de APS. Es un mapa interactivo y la tarea es señalar la ruta que permite alcanzar varias metas preestablecidas. Es dinámico porque hay obstáculos que modifican el problema inicial.

Vamos con un ejemplo de matemáticas. Competencial, vale, aceptamos, pero la respuesta es un número. Pienso que con este tipo de ítems se evalúan muy mal estas cosas, sobre todo si luego queremos hacer un diagnóstico de las causas.

En esta edición, antes de ese tipo de ítems, se incorporan ítems para evaluar el “sentido numérico”, que se relaciona con la comprensión de las cantidades y su representación por medio de números (realmente, es más amplio que esto, que es lo que señala el informe).

Según el informe, se incluyen dos tipos de preguntas:

a. ¿Cuál es la cantidad? Hay que identificar cuántos elementos aparecen en una imagen. b. ¿Cuál es el mayor? Proporcionan un ejemplo de esta última pregunta. No sé si es muy de sentido numérico, es básicamente de lectura.

Además de saber qué es lo que se está evaluando y cómo, también hay que saber que cuando leamos puntuaciones, estas van sobre 500 puntos, y que se establecen cinco niveles predeterminados a 175, 225, 275, 325 y 375 puntos. Quedaos con esos puntos.

Aquí los resultados generales en mates y APS. Los de lectura los tenéis en el informe y, realmente, son muy parecidos. A grosso modo, por debajo, significativamente, de la media de la UE y de la OCDE, con muchos individuos en niveles bajos y muy bajos.

Esto último, lo de un porcentaje tan elevado en niveles bajos (y tan bajo en niveles altos), es, a mi entender, lo más preocupante, porque dice mucho sobre contexto, social, sistema educativo y sistema laboral.

Decía que no ponía lo de lectura, porque quiero restringirme a mates. No hace mucha falta porque la correlación es tremenda, como muestra esta gráfica. Es gracioso el caso de Singapur, que sale mucho mejor en mates de lo esperado por correlación con lectura.

Quiero profundizar un poquito sobre los niveles de rendimiento, porque el PIACC aporta gráficas muy interesantes. Aquí vemos la diferencia entre los niveles bajos (cuadritos naranjas) y los altos (triángulos azules). En España, el bajo es muy bajo y el alto, pues no es muy alto.

Aquí se ve el mismo fenómeno, pero de manera más detallada para mates, desagregado por los niveles de rendimiento. Mucha población en niveles bajos, que son muy bajos, y poca en niveles altos, que no son tan altos.

Empezamos por los grupos de edad. En sombreado naranja, España. Es curioso porque, en España, el rendimiento baja conforme se avanza en edad (aunque está muy condensado), cosa que no pasa en otros países. Zoom en mates (triángulo-> círculo beis-> rombo -> círculo naranja…).

Una reflexión que puedo hacer aquí es que eso de que el nivel cada vez es peor, que mira estas juventudes y tal, y que los de mi generación somos eruditos, literatos y científicos en potencia, pues no sé yo. A lo mejor hay que mirar más allá del ombligo.

Sobre todo teniendo en cuenta la gráfica que muestra rendimiento desagregado por nivel educativo alcanzado. En España, la media de los que tienen estudios terciarios no pasa del nivel 2 ¡¡de 5!! (275) en ninguno de los tres dominios.

Recordemos que al evaluar a población de entre 16 y 65 años aquí influyen muchos factores. Estructura social, tipos de trabajos, sistema educativo, etc. En cuestiones de género, lo de las mates, que es la gráfica central, es deprimente (igual que en TIMSS).

Es decir, diferencias brutales en rendimiento a favor de los chicos que no se pueden explicar desde el punto de vista cognitivo ni de casualidad. Si con TIMSS ponía sobre la mesa que una clave muy gorda es lo que se está haciendo en el aula de matemáticas, aquí tenemos su contrapartida más global. El sistema formado por la sociedad<->escuela perpetúa esta brecha en matemáticas y no estamos siendo capaces de solucionarlo (esto último es lo que señala TIMSS, que evalúa en 4º de Primaria y donde ya se ve este fenómeno).

Tampoco es llamativa la diferencia en rendimiento a favor de la población nativa frente a la inmigrante.

Desde luego, no es sorprendente la diferencia en rendimiento, a favor, de la población cuyos progenitores tienen estudios terciarios. Pero España es de los países donde menor es esta diferencia (aunque sigue siendo significativa).

Vamos a la evolución con respecto al ciclo anterior, para ver tendencias. Esta gráfica me tiene loco. Muestra la diferencia entre el estudio de ahora y el anterior. Barras hacia la derecha indican mejora, significativa si es en azul fuerte.

Finlandia y Dinamarca tienen mejoras brutales tanto en lectura como en mates. A Singapur parece que la lectura le da igual, pero a tope con las mates. Luego tienes países como España, que sigue IGUAL (un poquito peor en lectura y un poquito mejor en mates, no significativo), ¡y países que empeoran un montón!

Luego el informe ofrece evoluciones desagregadas por género, etc., pero ya os remito al informe completo. Por ejemplo, en cuanto a mates, la brecha de género solo se redujo en Chile, Israel y EE.UU. a favor de las mujeres.

Tenéis todo el informe en la web del Instituto Nacional de Evaluación Educativa.

Un saludo y… ¡feliz clase!