PISA 2018: confusión en la sala de máquinas

Algunos países parecen haber mejorado, algunos otros parecen haber empeorado y la mayor parte no ha variado significativamente sus resultados. Según el informe de la OCDE, de los 79 países participantes, solo siete mejoraron en las tres materias que se examinan, Lectura, Matemáticas y Ciencias: son Albania, Colombia, Macao (China), Moldavia, Perú, Portugal y Catar; otros siete países  empeoraron en las tres materias, a saber, Australia, Finlandia, Islandia, Corea, Países Bajos, Nueva Zelanda y la República Eslovaca.

En cuanto al conjunto de la OCDE, también según el informe, la media de Matemáticas se mantiene plana desde 2003, mientras las de Lectura y Ciencias habrían perdido desde 2012 una pequeña ‘joroba’ desarrollada hasta esa fecha. (OCDE, 2018,I,p. 130). En realidad, hay que poner mucha voluntad para ver cambios en el caso de Lectura: considerando los 23 primeros países participantes, la media de 500 del año 2000 bajó a 495 en el año 2006, subió a 501 en el año 2012 y ha bajado a 493 en el 2018. En cuanto a Ciencias, los 36 países de la OCDE que participaron en 2006 dieron un promedio  de 494 puntos, que subió a 498 en 2012 y ha bajado a 489 en 2018: la pérdida actual parece mayor que la ganancia inicial. (OCDE, 2018, I:tabla B1.12).

El secretario general de la OCDE, Angel Gurría, juzga «decepcionante» que la mayor parte de los países de la OCDE no hayan experimentado mejoras desde el comienzo de PISA en el año 2000; otros han recordado que los sistemas educativos no se transforman en el corto plazo o han declarado que conviene reflexionar sobre el asunto; voces menos obligadas a la diplomacia se preguntan si tiene sentido mantener un ranking estancado en torno a 500 puntos, o atribuyen la falta de progreso a los recortes presupuestarios, a la lentitud con que la enseñanza de competencias sustituye a la enseñanza de contenidos, etc.; algún sociólogo se pregunta cómo no surte efecto el avance en casi todas las variables que correlacionan positivamente con las puntuaciones PISA, como los estudios de los padres, la disminución del número de hermanos, la escolarización temprana o, en general, los recursos de todo tipo. Quien escribe estas líneas piensa que lo normal es que las puntuaciones PISA no cambien por lo menos en los países más ricos, es decir, en la mayor parte de los miembros de la OCDE.

Intenté razonar  este punto de vista cuando hace tres años comenté los resultados de PISA 2015 en este mismo periódico. Un primer argumento es que, como siempre recuerda la misma OCDE, las pruebas PISA son poco sensibles a lo que se hace en las escuelas, pues miden competencias que dependen de todas las experiencias de aprendizaje, desde la primera niñez a la edad de 15 años, en la escuela y fuera de la escuela. El punto flaco de este argumento es que también han mejorado todas estas experiencias, no solo las escuelas.

Un argumento mejor, sugerido en el informe sobre Resolución de Problemas de PISA 2003, es que las pruebas PISA miden  la capacidad de razonamiento analítico, una competencia muy general que se desarrolla con todas las experiencias de la vida pero que, como la altura corporal, tiene un techo biológico. Ello explicaría que la mejora de las experiencias de aprendizaje tenga efectos decrecientes; en efecto, se han detectado ganancias  en la inteligencia general de las generaciones (efecto Flynn) en Estados Unidos y muchos países de Europa a mediados del siglo XX, cuando las condiciones de vida generales superaron la pobreza, pero no después, cuando han pasado de la suficiencia a la afluencia. Desde esta interpretación de las pruebas PISA es normal que los países que arrancaron en el año 2000 con resultados medios y altos no hayan avanzado, y comprensible que lo hayan hecho algunos de los que comenzaron con resultados bajos.

Ahora bien, una cosa es no cambiar y otra bien distinta empeorar. También para quien ve en PISA un test masivo de inteligencia general resulta extraño (aunque no «decepcionante») que los resultados bajen. Y muestran, sin duda, tendencia a bajar. Entre 2015 y 2018, enre los países de la OCDE, han bajado nueve puntos o más en Lectura Alemania, Grecia, Japón, Letonia, Luxemburgo, Holanda, Noruega y Eslovenia, habiendo mejorado solo Turquía. En Ciencias han caído Canadá, Dinamarca, Finlandia, Italia, Noruega, Portugal, España y Suiza, subiendo solo Polonia y Turquía.

Entre 2012 y 2018 han caído más de diez puntos  en Ciencias Australia, Austria, Chequia, Estonia, Finlandia (23), Alemania (21), Grecia, Italia (26), Japón, Corea, Letonia, Lituania, Luxemburgo, Holanda, Polonia y Suiza (20). Alguno, como se ve entre paréntesis, bastante más. El único país ‘rico’ donde la puntuación subió fue Suecia (14 puntos). La media de la OCDE bajó de 2012 a 2018 solo nueve puntos porque subieron o se mantuvieron países con puntuaciones bajas, como Chile, Colombia o Ecuador. Siendo tantos los descensos parece obligado buscar una causa común a todos ellos teniendo en cuenta que no hay caídas en Matemáticas.

Si se interpretan las pruebas PISA como pruebas de inteligencia general, lo más probable es que esta causa común no esté en los alumnos, sino en las pruebas. Los métodos de PISA son muy rigurosos, pero también las pruebas y su aplicación son muy complicadas. Más todavía cuando se cambia del lápiz al ordenador y los tests se multiplican variando las preguntas según las respuestas que los alumnos van dando. Por alguna de estas razones, o por pura casualidad, la prueba de Ciencias, y en menor medida la de Lectura, habrían resultado más difíciles en 2015 y 2018 para los alumnos de nivel medio-alto.

El descenso de España en Ciencias, 9,5 puntos entre 2015 y 2018 y 13 puntos desde 2012, no destaca en este contexto. España está entre los países con puntuaciones más estables en la historia de PISA, siempre entre los 480 y los 496 puntos; alguna vez ha visto un salto mayor que el de Ciencias de 2018: los 461 puntos en Lectura del año 2006 estuvieron 20 por debajo de los 481 de las olas anterior y siguiente.

Pero, como ocurre en todas partes, no nos basta que el mal sea de muchos, aunque no sea más que por no parecer tontos, así que nos ponemos a buscar causas más nuestras. Al  repertorio ya habitual se han añadido esta vez los recortes presupuestarios y la Lomce, con la prueba de cargo del fuerte descenso de Madrid. Honra a Alejandro Tiana haber declarado que en su opinión no tienen nada que ver y que no es un asunto tan simple, remitiendo a la buena puntuación de otras CCAA que también han aplicado la Lomce (Nota para extranjeros:  en España, las CCAA aplican las leyes solo cuando les parece).

En realidad, como acabamos de ver, no harían falta explicaciones especiales para cada país. Ahora bien, en España sabemos que ha habido errores en la aplicación de la prueba de Lengua, así que tenemos todo el derecho a preguntarnos por su influencia. Parece que algún equipo de aplicadores dio instrucciones confusas a sus alumnos, que contestaron mecánicamente las primeras 20 preguntas, error tras el cual el programa pasó a proponerles preguntas más sencillas que las que podrían haber respondido. Este error en Lectura se habría transferido en parte a Matemáticas y Ciencias, materias en las que, por ser secundarias en la ola de 2018, la nota del 60% de los alumnos se estima a partir de la de Lectura.

El error es sin duda  grave desde el punto de vista profesional. Esperemos que no lo sea tanto desde el punto de vista de los resultados. Mientras tanto, cabe mirar si las puntuaciones de las CCAA nos dan alguna pista. La primera impresión es que sí: hay algunas en las que las caídas son particularmente bruscas. Bajan más de diez puntos en Matemáticas y Ciencias Cataluña, Valencia, Madrid y Navarra; bajan más de diez puntos solo en Ciencias Aragón, las dos Castillas y La Rioja. Cabría, pues, pensar que las instrucciones confusas se dieron en estas CCAA. Pero, por otro lado, quizás sea excesivo suponer que sin errores en la aplicación las CCAA de nivel medio y alto se habrían mantenido al margen del descenso. Una mirada al pasado muestra bastantes subidas y bajadas mayores de 10 puntos.

Lo más prudente, pues, es esperar, deseando que la tardanza en aclarar el error y remediar sus consecuencias no se convierta en un error más grave todavía.