20 años de PISA: ¿Qué hemos aprendido?

En diciembre los resultados de PISA volverán a acaparar titulares, como ocurre cada tres años. Pero ni las evaluaciones internacionales nacen con PISA ni PISA es sólo un ranking de países en función de los resultados de sus alumnos en matemáticas, lectura y ciencias. En esta idea incidía hace unas semanas el director del Centro de Estudios de Economía de la Educación Ludger Woessmann, en la inauguración del ciclo de Educación 2019 organizado por la Fundación Europea Sociedad y Educación y la Fundación Ramón Areces.

En una conferencia titulada La importancia de los sistemas escolares: evidencia acerca de las diferencias internacionales en el rendimiento de los estudiantes, Woessmann se remontaba a los orígenes de las evaluaciones internacionales en los 60 y citaba las palabras de Arthur W. Foshley ante el piloto: «Si la costumbre y la ley definen lo que se permite en Educación dentro de un país, los sistemas educativos más allá de tus fronteras sugieren lo que es posible en Educación».

No sería sin embargo hasta el cambio de milenio que llegaría el boom de estas pruebas, que empezaron a ser cada vez más, con más países participantes y con mayor frecuencia. También en 2000 los investigadores, principalmente economistas, comienzan a aprovechar sus bases de datos para comparar los sistemas educativos de los distintos países. Es el caso de Woessmann, considerado por Research Papers in Economics el cuarto mejor economista de la Educación mundial, tras James J. Heckman, Eric A. Hanushek y Joshua D Angrist.

¿Por qué estudiantes de 15 años de diferentes países (por ejemplo, Singapur y Estados Unidos) muestran una diferencia de hasta dos años de escolarización?, se pregunta el experto. Según sus trabajos, en base a PISA, TIMSS y PIRLS, entre otros, el contexto familiar, los recursos con los que cuenta la escuela y las características del sistema educativo pueden explicar, combinados, hasta el 80% de la variación.

Sin embargo, para él, la mayor parte de ese 80% lo explican dos de los factores –familia y sistema educativo– siendo reducido el peso de los recursos de la escuela, medidos en gasto por estudiante, ratio y dotación en tecnología de las aulas. Según Woessmann, no por gastar más a un país desarrollado le va a ir mejor: «Puede resultar frustrante, pero no es tan sencillo. Se puede comprobar comparando lo que han gastado los países a lo largo del tiempo y su evolución en PISA. En España el incremento de gasto entre 2000 y 2010 no supone una mejora».

Que el gasto adicional no redunde en un mayor aprendizaje de los estudiantes puede venir dado, según Woessmann, porque esa inversión no viene acompañada de incentivos para que los distintos elementos del sistema (profesores, alumnos…) se centren en esa mejora.

Como sucede con la inversión, es frecuente que Woessmann mencione factores con un impacto positivo en los resultados de los alumnos pero no por sí solos sino si van de la mano de otros. Sucede con el porcentaje de escuelas no gestionadas por el Estado. Para Woessmann, cuantas más mejor, pues, descontando el nivel socioeconómico y cultural (ISEC), los países puntúan mejor cuantas más escuelas no gubernamentales hay, pero, cuidado, solo si están suficientemente financiadas. Los mejores logros se dan si la financiación por parte del Estado es completa.

Woessmann pone de ejemplo los Países Bajos, donde tres de cada cuatro estudiantes acude a escuelas gestionadas por proveedores distintos al Estado y la Constitución recoge la financiación por parte de este. «El Gobierno paga para que todo el mundo pueda tener acceso, los recursos no vienen de los bolsillos de las familias [el Estado les da una cantidad por estudiante] y esto es mejor para las familias, que pueden tener cinco escuelas distintas entre las que elegir en su barrio, y para el sistema: Los centros no gubernamentales obtienen mejores resultados al haber sido elegidos por las familias y los públicos también responden a esta competencia y lo hacen mejor», explica.

De nuevo una mayor autonomía de los centros no es buena por sí sola, según Woessmann: «Sin exámenes de salida, mejor que no haya más autonomía», asevera. Para él es preferible un sistema más flexible, no demasiado centralizado, pero «solo si después observamos lo que se ha logrado».

Tampoco cualquier prueba sirve, concluye: «Entre 2000 y 2015 analizamos la evolución de 59 países. Algunos habían incorporado pruebas y otros las habían eliminado. Y observamos una fuerte correlación positiva: Todos los que hacen más pruebas externas registran un mayor logro de los estudiantes en lectura y matemáticas a lo largo del tiempo, y a la inversa. Pero esto sólo funciona si son pruebas externas».

Para Woessmann, las evaluaciones internacionales son claves por las implicaciones del rendimiento escolar en el crecimiento económico. Las competencias de la población explican, según sus cálculos, tres cuartas partes de la prosperidad de un país. Y este efecto causal a escala macroeconómica tiene su traslación al plano individual. En España cada escalón en PIAAC –el PISA de adultos–, subir un nivel de competencias dentro de los cinco que hay, equivale a un 20% de ingresos más y más protección ante al desempleo.

Reconoce que en la investigación que ha surgido a raíz de estas pruebas cuenta todavía con límites, como la dificultad para aislar los factores culturales, los valores propios de cada país, que también influyen en los resultados.
Sin embargo, reivindica lo que se ha aprendido de la comparación de estudiantes por países –los que salen mejor en la foto son más prósperos, hay margen para la mejora, esta no depende de los recursos sino del marco institucional– y lo que queda por aprender. «Hemos podido ver algunos factores importantes que inciden en el logro de los estudiantes, pero es un campo joven, sólo tiene 15 años. Son unos resultados iniciales, que se seguirán ampliando. Con más países y más pruebas podremos saber más, por ejemplo, de cómo captar a los mejores profesores y mantenerlos, o del efecto de ser migrante, de la personalidad del alumno o de la cultura del país», proclama Woessmann.

Su entusiasmo choca con la visión crítica de quienes observan con recelo el hecho de que PISA se haya convertido en una especie de oráculo. Para la asociación Educación Abierta, no tiene ni tendrá todas las respuestas. Con esta idea ha celebrado la jornada Lo que PISA no ve.

En mayo de 2014 un grupo inicial de 83 académicos le envía una carta a Andreas Schleicher, padre de las pruebas, cuestionándolas por ser muy estandarizadas y cuantitativas, dejar fuera aspectos cívicos o artísticos, medir al alumno como trabajador, no como ciudadano, fomentar intervenciones cortoplacistas de los Estados, responder a acuerdos con empresas privadas y perjudicar a los estudiantes y empobrecer la Educación.

Desde entonces, PISA se ha enriquecido midiendo nuevas competencias como resolución de problemas colaborativos o pensamiento creativo, yendo más allá de las habilidades cognitivas. Algo que no es suficiente para un nutrido grupo de expertos, empeñados en señalar sus debilidades. Entre ellos, el sociólogo Julio Carabaña, autor de La inutilidad de PISA para las escuelas. Para él es una prueba «buena en lo descriptivo, deficiente en lo explicativo y básicamente irrelevante como guía de acción”. «En mi libro me limitaba a mostrar su inutilidad para las escuelas, pero dejé apuntado en el prólogo que era todavía más inútil para los países, principalmente porque son muy pocos y las inferencias a partir de muestras tan pequeñas tienen poco valor», sostiene.

Sobre todo desde la Sociología o la Pedagogía se ha criticado además el enfoque demasiado economicista, como si la educación funcionara como un mercado. Un enfoque, por otra parte, que Woessmann no esconde: «Si en economía la competitividad es un incentivo para ofrecer buenas mercancías a un previo razonable, esto funciona también en los sistemas escolares», concluye.

• El objetivo de la jornada no era tanto elaborar conclusiones sino plantear interrogantes: ¿quién ha decidido qué deben saber los jóvenes de cualquier país? ¿por qué se paraliza el mundo educativo y se sobrecogen los gobiernos cada vez que PISA habla? ¿qué mide realmente PISA? ¿qué intereses o ideología hay detrás? ¿se puede modelizar la medición de aspectos cívicos o artísticos?
• Flor Cabrera, catedrática de Medición y Evaluación Educativa de la Universidad de Barcelona, valoró la utilidad de pruebas como PISA, aunque aseveró que pueden generar efectos perversos. Por ejemplo, tras la batalla para demostrar el valor de la diversidad en Educación, PISA en cambio venera la homogeneidad. Cabrera se preguntaba «¿Por qué en Educación cambia todo pero la evaluación nunca cambia?».
• En este sentido, el orientador Javier Cortés bromeaba sobre cómo España, como Finlandia, puede presumir de «60 años de estabilidad en el sistema educativo». Blandía un boletín de notas de los años 50, de su padre, que reflejaba pocos cambios con uno actual, salvo que antes se aprobaba con un 2 y ahora con un 5. Como en PISA tendemos a quedarnos en el ranking, en las aulas se tiende a confundir evaluación con calificación. «Y la evaluación de competencias no existe», aseveraba Cortés.
• A la OCDE le gusta ensalzar a los países que lo hacen bien (Singapur) o mejoran mucho en poco tiempo (Portugal). Carmen Pellicer, pedagoga y presidenta de Fundación Trilema, se preguntaba: «¿Cuál es el precio como sociedad de tomar a Singapur o China como modelos de excelencia educativa?».