Retrato del alumno español medio según PISA 2018

Un alumno español medio de 15 años roza, según PISA 2018, un nivel 3 de competencias en Matemáticas (de 482 puntos en adelante) y Ciencias (de 484 para arriba). Esto significa que puede ejecutar procedimientos sencillos, incluso con pasos intermedios. Interpreta resultados de forma coherente si se trata de resolver problemas de dificultad media. Y maneja varias fuentes de información y trabaja con porcentajes, fracciones, decimales y relaciones de proporción. Por otra parte, puede explicar fenómenos científicos en contextos complejos si el enunciado ofrece pistas y desarrollar experimentos con un número limitado de variables.

En suma, «el alumno medio puede participar perfectamente en una sociedad moderna, como la española, y podrá resolver la mayor parte de los problemas a los que se enfrenta un ciudadano medio a diario. Pero si los problemas incluyen mucha información, numerosas variables y varios pasos intermedios, encontrará dificultades», explica Alfonso Echazarra, analista de PISA en la OCDE.

Si se compara con la generación de 35 años (la primera que retrató PISA) apenas hay variación (de 485 a 481 puntos en Matemáticas y de 488 a 483 puntos en Ciencias), dado que las diferencias de dos o cinco puntos no son estadísticamente significativas y solo a partir de 15 suponen una distancia relevante (equivalente a medio curso escolar). En los 20 años de esta evaluación, España, como Austria, Japón o EEUU, muestra una tendencia plana en Matemáticas y de joroba en Ciencias, como le sucede a Brasil, Dinamarca o Italia. Y esto pese a que todas las variables que correlacionan positivamente con el rendimiento (estudios de las madres, escolarización temprana) han mejorado.

Para Lucas Gortazar, consultor de Educación del Banco Mundial e impulsor de la Red por el Diálogo Educativo (REDE), «España está en el mismo punto que hace 20 años en aprendizaje, pero a cambio ha incorporado a muchos alumnos que antes abandonaban el sistema antes y a otros tantos de origen inmigrante cuyos niveles socioeconómicos son más bajos. El sistema ha resistido además una crisis económica y una reducción presupuestaria muy fuerte». Gortazar alude a «la ausencia de reformas profundas en las últimas dos décadas» y a la tendencia a sacralizar PISA: «Es solo una de las bombillas que debería alumbrar el sistema y no lamentablemente la única».

Mientras, un alumno medio chino (de los cuatro municipios analizados por PISA), con 591 puntos en Matemáticas y 590 en Ciencias, se sitúa en la parte el nivel 4 de competencias rozando el 5, con lo que es capaz de resolver problemas en contextos poco familiares que requieren establecer supuestos e incluyen una mayor cantidad de información y pasos intermedios. Además, se siente cómodo con la incertidumbre asociada a los datos científicos.

En términos de rendimiento, la OCDE suele poner como ejemplo los países del Este asiático, como Singapur, pero «desde un punto de vista más amplio, teniendo también el clima escolar, bienestar del alumno, tiempo dedicado al estudio, miedo al fracaso, seguramente los sistemas más atractivos para España serían Canadá, Estonia y Finlandia«, analiza Echazarra.

Para la OCDE es una buena noticia que el clima escolar mejorara en la mayoría de los países entre 2009 y 2018, pero España, como Panamá, constituye una excepción. Casi todos los alumnos españoles relataron al menos uno de los cinco tipos de disrupción –»Los estudiantes no escuchan al profesor», «Hay ruido y desorden», «El profesor tiene que esperar mucho tiempo a que los alumnos se callen», «Los alumnos no pueden trabajar bien» y «Los alumnos no empiezan a trabajar hasta bastante tiempo después de que la clase haya empezado»–, y las probabilidades son mayores en la Pública y en centros desaventajados. También en estos centros los estudiantes faltan más y es más frecuente que haya profesores novatos, mientras que se registra un mayor entusiasmo de los docentes en la Privada.

El rendimiento es superior en la Privada que en la Pública, pero este se iguala si se tiene en cuenta el Índice Socioeconómico y Cultural (ISEC) del alumnado, como destacó el secretario de Estado de Educación y Formación Profesional, Alejandro Tiana, que subrayó que este fenómeno ya se detectó en la primera evaluación de Primaria llevada a cabo por el Ministerio, en 1995.

Un estudiante de un entorno desfavorecido tiene una posibilidad entre cinco de acudir a una escuela con estudiantes de alto rendimiento, como en Finlandia o Portugal, y frente a Argentina o Bulgaria, donde es de una entre ocho, pero tiene cuatro veces más probabilidades de ser repetidor.

Los alumnos españoles son los que mayor sentimiento de pertenencia a su centro educativo muestran de todos los estudiantes analizados y son razonablemente felices. Un 74% está safisfecho con su vida, frente al 67% de media de la OCDE. Precisamente es en el bienestar del alumnado donde las ganadoras en PISA, las cuatro provincias chinas, muestran mayor margen de mejora, pero, como subrayaba la analista Miyako Ikeda en la presentación en España, Estonia, Finlandia o Alemania demuestran que es compatible ser buenos estudiantes y felices.

Según Pablo Zoido, ex analista en la OCDE y hoy en el Banco Inter-Americano de Desarrollo, el mayor hallazgo de PISA 2018 es la constatación de la correlación entre mentalidad de crecimiento y rendimiento. En España, un 62% de los estudiantes, frente al 63% de media de la OCDE, la manifiestan, esto es, no están de acuerdo con que «La inteligencia es algo fijo que no puede cambiar mucho». También en este apartado el Este asiático y, dentro de la OCDE, Estonia, despuntan. Como recuerda Gortazar, varios estudios muestran que esta se asocia con mayor compromiso, esfuerzo y disfrute del aprendizaje. Y el padre de PISA, Andreas Schleicher, atribuye en parte a esta la resiliencia, la capacidad de los alumnos de sobreponerse en la escuela a su desventaja socioeconómica de partida.

Para Ildefonso Méndez, economista de la Universidad de Murcia, experto en soft skills y asesor de la OCDE y la IEA, «se trata de una aportación muy útil e interesante para los investigadores, que arroja respuestas significativas y comparables en una línea muy interesante». En la presente edición también se pregunta a los estudiantes por el esfuerzo que dedican a la prueba, algo que para él, sin embargo, tiene menos sentido: «Es muy subjetivo, pues el alumno más autoexigente siempre cree que hace menos de lo que debería y va a contestar que no se ha esforzado lo suficiente».

Han pasado 20 años desde que arrancaron las pruebas PISA pero todavía no hemos aprendido a leer sus resultados, acostumbrados a mirarlos «como una carrera de caballos», como una competición y no como un instrumento para la mejora, según aseveraba Alejandro Tiana en la presentación de los resultados españoles. Los alumnos que mejor representan la media de España son los baleares, tanto en Matemáticas como en Ciencias, pero entre los extremos, los navarros y los ceutíes en Matemáticas, los gallegos y los ceutíes en Ciencias, hay más de tres cursos de diferencia.

Le preguntamos a Alfonso Echazarra si son habituales estas brechas de rendimiento entre estudiantes de distintas regiones de un mismo país (con una misma ley educativa): «Desgraciadamente hay pocos países que tengan una muestra representativa para todas sus regiones, pero analizando los datos de PISA 2018 y ciclos anteriores, podemos decir que las diferencias entre comunidades autónomas son las esperadas dadas las diferencias de PIB per cápita y de estatus socioeconómico de los padres y están en línea con las diferencias observadas en otros sistemas educativos. Las diferencias entre regiones son más importantes en Colombia, Italia o Emiratos Árabes Unidos. Incluso entre las comunidades valona y flamenca de Bélgica o entre las provincias de Canadá son considerables. Los sistemas educativos solo explican una parte de las diferencias de rendimiento entre estudiantes; a pesar de que algunos países han conseguido disminuir su influencia, como los escandinavos, las familias (nivel educativo, ocupación, apoyo socioemocional) son aun la mejor variable para explicar el rendimiento de los alumnos. No solo eso, también parecen ser uno de los mejores predictores de los sentimientos de los adolescentes».

Por su parte, Lucas Gortazar llama la atención sobre cómo las diferencias se han reducido: «Si miramos otros indicadores de largo plazo, el sistema ha sido capaz de generar convergencia en los resultados territoriales. No significa que no haya que seguir incidiendo en las comunidades con peores resultados, pero son más llamativas las diferencias dentro de algunas comunidades autónomas por origen social u origen inmigrante, y ahí también habría que exigir mejoras».

En estos 20 años, la OCDE ha venido repitiendo sus mantras en base a los resultados en PISA, como que la inversión, a partir de un mínimo, no repercute en el rendimiento, como tampoco lo hace el tiempo de aprendizaje. O que el ISEC determina en buena medida los resultados de los alumnos, pero unos pocos resilientes (con suerte un 13%, en países como Australia, Canadá o Estonia) logran sobreponerse y cambiar su destino. Para algunos, la edición realmente útil de PISA fue la de 2000, cuando se compararon los países de la OCDE, y desde entonces los resultados fundamentales son los mismos, y muchas veces cuando se ha hablado de avance este obedecía más a la introducción de nuevos países, con menor nivel económico y educativo –que por tanto bajaban la media de la OCDE– que a un avance real.

También hay quienes han criticado los métodos estadísticos, asegurando que el margen de error de las pruebas está subestimado. A estas voces se ha sumado en la última edición la Comunidad de Madrid, que ha descendido casi 30 puntos en Ciencias en tres años. Como han hecho otros países en el pasado, pidió la revisión de los resultados, pues consideraba que si la OCDE ha decidido no publicar los resultados de España en Lectura, no tiene sentido hacerlo con los de Matemáticas y Ciencias, dado que menos del 50% de los alumnos hacen esas pruebas y, por tanto, los resultados de esos alumnos que no las pasaron estarían «contaminados».

En la presentación de los resultados de PISA en España, la analista Miyako Ikeda dedicó la primera media hora a justificar la publicación de esos resultados y defender el rigor y los estándares técnicos de las pruebas. Algunos atribuyen el bajón de Madrid a la hiperinflación de evaluaciones entre abril y mayo de 2018 en la comunidad, con 10 pruebas externas en dos meses. De hecho, los alumnos madrileños fueron los que más bajo puntuaron su esfuerzo en la prueba, con un 7,07 sobre 10, aunque para los investigadores este indicador es bastante subjetivo. Otra de las explicaciones que se ha buscado es el afán de la comunidad con el bilingüismo, con Science sustituyendo a Ciencias desde Primaria. Echazarra ataja: «No hemos hecho un estudio en profundidad sobre este asunto, pero a primera vista no parece que las comunidades que más han bajado su rendimiento sean siempre las que tienen programas bilingües más ambiciosos».

España es el único país que no conoce de momento los resultados en la prueba principal, Lectura. PISA 2018 no ha sido una edición más en nuestro país, donde las anomalías en las respuestas de los alumnos obligaron a suspender la publicación de los resultados de Lectura. «Ha sido una edición convulsa en España, pero a nivel internacional no ha sido excepcional. En PISA 2015, por ejemplo, Argentina, Kazakstán y Malasia tuvieron problemas graves que impidieron la publicación de buena parte de los resultados», explica Echazarra, que añade que todavía no saben la causa de las respuestas anómalas en la sección de fluidez lectora. «La traducción de las preguntas es una de las tareas más complejas que existen en la administración de PISA, pero no tenemos confirmación de que el problema tenga que ver con una mala traducción. Tradicionalmente han sido de excelente calidad en las pruebas y cuestionarios distribuidos en España», añade.

Era la primera vez que se incluía esta sección (tres minutos de una prueba de una hora), para discriminar los estudiantes con dificultades para comprender frases sencillas, como los enunciados de las preguntas, y Echazarra no responde si se prescindirá de ella en el futuro. «Aunque su utilidad es más limitada en los países con alto rendimiento, es muy útil en países con rendimientos más bajos», reconoce. Hubo países –no solo España, también Kazakstán, República Dominicana, Albania, Indonesia, Corea, Perú, Tailandia y Turquía– donde los estudiantes, incluso aquellos con un nivel medio o alto de competencia lectora, la respondieron «a piñón fijo». Solo en España, donde se detectaron estas anomalías en un pequeño número de centros (no en todos sus alumnos) en distintas zonas, se ha pospuesto la publicación de los resultados en Lectura.

Sobre si el gran tamaño de la muestra en España dificulta la aplicación, concluye: «No aumenta necesariamente la probabilidad de errores en la implementación, aunque sí hace que sean más costosos». Sin embargo, fuentes del Instuto Nacional de Evaluación Educativa, el organismo colegiado en el que participan tanto el Ministerio como las comunidades autónomas, han reconocido que el hecho de que cada comunidad autónoma tenga una muestra equivalente a la de muchos países no facilita las cosas. En países como Estonia, es frecuente que los encargados de PISA conozcan todos los centros participantes y sus equipos directivos. En España, con suerte pueden visitar 50 de los 1.000 que se presentan. Tampoco ayuda que uno de los criterios prioritarios a la hora de determinar la empresa encargada de la aplicación, gestión de datos y codificación de PISA sea el precio. O que PISA se celebre cada tres años. A día de hoy, cuando faltan por publicarse todavía dos volúmenes de PISA 2018, sobre alfabetización financiera y competencias globales, se prepara ya el piloto de PISA 2021, que será esta primavera.

España, y en su día otros países como Alemania o Francia, han solicitado a la OCDE una frecuencia más dilatada en esta prueba, de al menos cuatro años. Echazarra reconoce que el debate está sobre la mesa: «Efectivamente existe un debate en el seno del consorcio de PISA, pero todavía no se ha alcanzado una decisión. Realizar las pruebas cada cuatro años tiene ventajas e inconvenientes que los países están debatiendo, y seguro que se alcanzará una decisión pronto».