¿Qué cambios son reales en PISA y cuáles se deben a las anomalías?

La principal novedad que nos aporta, en España, esta edición de PISA, es un problema grave en algún punto todavía no precisado de la recogida de las informaciones de la evaluación. Ese problema ha llevado a la OCDE a diferir la publicación de los resultados de la competencia de lectura (la central en esta edición). Las competencias de matemáticas y ciencias, según la OCDE “parecen menos afectadas” por las anomalías. Sin embargo, es preciso llamar la atención sobre la necesaria cautela que debemos tener al interpretar los datos: los procesos de determinación de las puntuaciones de matemáticas y ciencias incluyen información sobre la competencia de lectura, lo que supone que probablemente se haya producido un cierto nivel de “contaminación” de todas las puntuaciones provocado por las anomalías en la competencia de lectura. Debido a los márgenes de error y la lentitud de los cambios siempre resulta difícil interpretar las evoluciones de las puntuaciones de PISA y relacionarla con reformas educativas previas. En la edición actual esta dificultad se ve acrecentada.

La información más llamativa, la que primero llega a los medios, es el descenso de la puntuación media tanto en matemáticas como en ciencias. Son descensos, con respecto a 2015, de cinco y diez puntos, respectivamente. En una serie larga, comparando con los resultados de 2003, no se apreciarían diferencias significativas (como insiste la OCDE); sin embargo, en los dos casos se interrumpen tendencias al crecimiento de las anteriores tres ediciones.

Sin embargo, lo que creo que es más relevante de los nuevos resultados es la continuidad en las posiciones de España en dos aspectos básicos que permite medir PISA, relacionados con la eficacia y la equidad del sistema, respectivamente. En primer lugar, los resultados medios siguen cercanos a la media de la OCDE, aunque ligeramente por debajo (ocho puntos en el caso de matemáticas y seis en el caso de ciencias). En segundo lugar, el porcentaje de la variación en las puntuaciones explicados por el estatus económico y sociocultural está también ligeramente por debajo de la media de la OCDE (en matemáticas, 12% en comparación con el 14% y, en ciencias, 10% en comparación con el 13%). Este porcentaje es un buen indicador de hasta qué punto el sistema educativo reproduce las desigualdades sociales previas. La combinación de las dos informaciones nos indica que España se sitúa muy cerca del punto central de cruce de los dos ejes más relevantes de PISA, el de puntuación y el de equidad.

La distribución interna de los resultados y, en particular, la composición de las “colas” izquierda y derecha de la distribución se ve afectada por la caída de las puntuaciones de algunos alumnos. En las ediciones previas España se caracterizaba por una distribución con una cola izquierda (puntuaciones por debajo del nivel 2) más reducida que la media de la OCDE, lo que era un rasgo distintivo muy positivo para el sistema educativo español. Sin embargo, en esta edición esta cola es prácticamente idéntica a la media: incorpora a un 25% de los estudiantes en el caso de matemáticas y a un 21% en el caso de ciencias (24% y 22% para la media de la OCDE). Sería esta, en mi opinión, la peor noticia de PISA 2018. Con la debida cautela, motivada por las posibles anomalías en la obtención de la información, es preciso señalar que el abandono prematuro puede verse afectado en los próximos años por el crecimiento de la proporción de alumnos por debajo del nivel 2. En el caso de que las señales que ya apuntan claramente a la contracción de la demanda de trabajo se acaben de confirmar, este efecto sería más que compensado por la preferencia de los jóvenes por continuar estudiando al no encontrar trabajo.

Los efectivos en la cola de la derecha (alumnos con altas competencias, en el nivel 5 y superior), siguen siendo, en España, muy pocos. En matemáticas, un 7% y en ciencias, un 4% (las medias correspondientes a la OCDE son 11% y 7%). La proporción se mantiene estable, lo que nos confirma que el descenso de las puntuaciones se concentra en los alumnos con competencias más bajas.

Una de las pocas buenas noticias que nos aporta PISA 2018 en España es la reducción de las diferencias de puntuaciones según el género. En el caso de ciencias, esta brecha de género de hecho ha desaparecido (en PISA 2015 era de siete puntos). En el caso de la competencia matemática se ha reducido hasta únicamente seis puntos (en PISA 2015 era de 16 puntos). La brecha de seis puntos es prácticamente igual a la media de la OCDE (situada en cinco puntos). Sin embargo, de nuevo esta reducción de la brecha puede deberse a las anomalías en la recogida de la información: si fueran sobre todo chicos con niveles bajos de competencias de lectura los que contestaran de forma anómala, se incrementaría automáticamente su presencia en los niveles más bajos del resto de competencias. También en cuanto a las diferencias de género, conviene señalar que, pese a la reducción de la brecha, perduran, sin embargo, importantes diferencias vinculadas con el género en cuanto a las expectativas y preferencias profesionales de chicos y chicas.

PISA 2018, por tanto, nos aporta una dosis notable de continuidad y algunos cambios que serían notables si pudiéramos estar seguros de que no están relacionados con las anomalías en la recogida de la información.