PISA y el “efecto Flynn”
Acaban de publicarse los resultados de PISA 2015, la novena ola del programa de evaluación de alumnos de Secundaria lanzado por la OCDE en el año 2000. En términos generales, son los mismos resultados de todas las olas anteriores. Algunos países parecen haber mejorado, algunos otros parecen haber empeorado, la mayor parte no han variado significativamente y el conjunto de la OCDE se mantiene igual.
España es uno de los países con resultados más estables, siempre entre los 480 y los 495 puntos, con la excepción de los 461 puntos en lectura en el año 2006, que causaron un cierto alboroto. Aunque se quiera dar la impresión de grandes cambios recientes, la realidad es que en el conjunto de las tres pruebas (lectura, matemáticas y ciencias) se subieron 16 puntos entre 2009 y 2012 y 7 entre 2012 y 2015. En este año se ha superado por tres puntos el récord de lectura, que estaba en los 493 puntos del 2000; se ha superado por un punto el récord de matemáticas, que estaba en los 485 puntos de 2003, y en ciencias no se han alcanzado por 3 puntos los 497 en 2012. Ninguno de estas diferencias es estadísticamente significativa.
El conjunto de la OECD ha sido más estable todavía. En 2015, la media de la OECD sigue en torno a los 500 puntos iniciales en las tres pruebas. Más precisamente, en 2015 ha sido de 498 puntos en lectura, de 491 en matemáticas y de 493 en ciencias. Aunque estadísticamente puede decirse que se ha descendido en estas dos pruebas, lo más prudente es atribuir los cambios a la casualidad (todo el descenso en matemáticas se ha producido desde 2012) o a los métodos (por ejemplo, en 2015 las pruebas se han pasado por ordenador). Pero aún cuando fueran reales, serían cambios de los que llaman “glaciales”.
¿Cómo explicar esta estabilidad a lo largo de 15 años y seis aplicaciones de las pruebas PISA? PISA ofrece en varios lugares de sus informes al menos tres puntos de vista distintos sobre lo que miden sus pruebas y lo que influye en ellas, todos los cuales harían esperar que las puntuaciones mejoraran.
La versión coram populo es que PISA evalúa sistemas escolares y que los resultados de sus pruebas dependen de las escuelas. Pero las escuelas no paran de mejorar en recursos y de innovar en métodos. Como ya se decía en el informe sobre 2006, “en seis años deberían haberse producido mejoras generalizadas, tanto porque los sistemas educativos de todo el mundo invierten, innovan y mejoran sin cesar, como porque además justamente PISA ha tenido que estimular esos procesos de mejora, particularmente en aquellos países que quedaron mal en el primer estudio, como Alemania” (OECD, 2008:319). ¿Habremos de concluir que todos esos esfuerzos han sido en vano, o más bien ocurre que las pruebas PISA son poco sensibles a lo que se hace en las escuelas?
Esta última es la explicación esotérica de PISA: sus pruebas no miden aprendizajes curriculares, sino “literacia”, competencias generales que las escuelas deberían enseñar, pero que dependen de toda la experiencia de los individuos. Todos los informes PISA reproducen sin variación el párrafo siguiente: “Si un país puntúa más que otro no se puede inferir que sus escuelas son más efectivas pues el aprendizaje comienza antes de la escuela y tiene lugar en una diversidad de contextos institucionales y extraescolares. Sin embargo, si un país puntúa mejor, puede concluirse que el impacto cumulativo de todas las experiencias de aprendizaje, desde la primera niñez a la edad de 15 años, en la escuela y fuera de la escuela, ha producido resultados más deseables en ese país” (OECD, 2016:I:288). Ahora bien, también las experiencias de aprendizaje pre y extra escolares parecen haber mejorado: hogares más pequeños y con más recursos materiales y culturales, mayor facilidad de acceso a todo tipo de información. Pero, como otra vez concede PISA, “contra este fondo de rápido cambio científico y tecnológico, resulta decepcionante que en la mayoría de países con datos comparables los resultados PISA en ciencias se mantuvieran virtualmente sin cambios desde 2006” (OECD, 2016, II:264).
Si bien tiene toda la apariencia de haberse colado en un descuido, PISA ha ofrecido otra interpretación de lo que miden sus pruebas que al menos a primera vista explicaría la estabilidad de sus resultados. En el informe sobre “resolución de problemas” del año 2003, puede leerse que el elemento común a todas las pruebas de PISA es la capacidad de “razonamiento analítico”; el término se aclara remitiendo a Carroll, un psicólogo que considera este tipo de razonamiento como una manifestación de la inteligencia general (OECD, 2003:156). De acuerdo con el punto de vista más extendido, la inteligencia general es algo que, como la “literacia”, se desarrolla con todas las experiencias de la vida pero que tiene un techo biológicamente determinado. La humanidad puede volverse más culta cuando los niños se educan en escuelas y otros entornos ricos en información y conocimiento, pero no más inteligente.
Tampoco esta tercera explicación es del todo adecuada, al menos si damos por bueno lo que se ha llamado el “efecto Flynn”. Según los análisis de James Flynn, replicado por otros psicólogos, se han registrado “ganancias masivas” en la inteligencia general de generaciones sucesivas en Estados Unidos y muchos países de Europa, ocultas en la rebaremación periódica de los tests de capacidades cognitivas. También, por tanto, la inteligencia general aumenta de una generación a otra, a diferencia de las puntuaciones en las pruebas PISA.
No todos los componentes de la inteligencia mejoran por igual, sin embargo. En realidad, el “efecto Flynn” se registra en el componente “fluido”, aquel que tiene que ver con el razonamiento más abstracto e independiente de los contenidos, que se detecta con las pruebas más “libres de cultura”. Pero, extrañamente, no se detecta con las pruebas más dependientes de los contenidos, que miden el componente que se conoce como “cristalizado”. Ahora bien, en el razonamiento analítico tendría mayor peso la inteligencia fluida que la cristalizada (Carroll, 1996). Si el razonamiento analítico fuera el componente principal de las pruebas PISA, entonces estas deberían haber detectado al menos algún rastro del “efecto Flynn”, mejorando algo en el conjunto de la OCDE.
Queda, por tanto, que los resultados de las pruebas PISA no cambien porque midan justamente el componente “cristalizado” de la inteligencia, aquel en el que los psicólogos no han detectado cambios seculares. Entre los sociólogos de la Educación, recurrir a la inteligencia es poco menos que mentar la bicha; en los informes PISA, las menciones a la inteligencia son raras y casi clandestinas. Así que cuando un sociólogo de la Educación habituado a leer los informes PISA lee a James Flynn le sorprende que considera una obviedad que las pruebas PISA, y en general las pruebas objetivas de rendimiento académico que se usan en Estados Unidos, miden inteligencia “cristalizada”. El sociólogo se pone a pensar en las razones por las cuales los psicólogos se quedan tan callados cuando se habla de PISA. Al cabo, razona, tienen una hipótesis compatible con la masiva estabilidad de los resultados de PISA.
Julio Carabaña es catedrático de Sociología emérito en la Universidad Complutense de Madrid