“España no perdería nada si saliera de PISA y se ahorraría lo que cuesta”

El cerebro de Julio Carabaña es un banco de datos histórico de las pruebas PISA. Cruza los resultados españoles con los del resto de países a lo largo de los años, con las evaluaciones de nuestro sistema y con las investigaciones extranjeras realizadas desde los 60. Enciclopedia viva, vinculado durante media vida a la Facultad de Educación de la Universidad Complutense, sostiene que PISA solo sirve a los investigadores.

¿Usted está en contra de PISA?
Sí, pero es egoísta porque yo ya le he sacado todo el partido que necesitaba y ya he sacado mi conclusión de que con estas pruebas no se aprende nada.

¿Por qué?
Para la enseñanza no tiene ninguna consecuencia buena y sí puede tenerlas malas. Su mal uso viene de que precisamente tiene que servir para algo. Pero ellos mismos, los autores de PISA, encuentran que las conclusiones que tienen cada vez son menos útiles y, de hecho, no lo pueden ocultar. Los informes advierten de que es un error fijar la atención inmediatamente en las escuelas cuando salen los resultados porque las puntuaciones de los alumnos en las pruebas PISA dependen de toda la experiencia de los individuos, incluyendo la familia y el ambiente prenatal, de tal modo que si un país obtiene una media más alta que otro esto no puede atribuirse a la escuela. PISA mide cosas que no dependen de las escuelas.

¿España no perdería nada si saliera de PISA?
En absoluto. Y se ahorraría todo el dinero que le cuesta. Sabemos que vamos a estar dos puntos arriba o abajo. Pero, sobre todo, no puede establecerse ningún tipo de relación con las prácticas escolares ni con las políticas educativas. Podemos subir o bajar por otras razones, pero no por eso.

¿Para qué sirve PISA?
Fundamentalmente para los investigadores. Nos proporciona tal cantidad de datos de tal cantidad de países perfectamente comparables, que supera lo que el más fantasioso de nosotros podría haber imaginado hace 20 años. Antes, las investigaciones sobre Educación se reducían a experimentos hechos con alumnos de una o unas pocas escuelas. Eran inglesas, estadounidenses… y los resultados de esos países se generalizaban al mundo entero. PISA nos descubrió que no se puede generalizar.

Y en todo ese océano de datos que proporciona PISA, ¿qué es lo más revelador?
Lo más importante es que los resultados sean distintos de un país a otro. Podemos ver que la influencia de la situación familiar es diferente según el país. Antes nos movíamos en una incidencia del 10-12%, que tiene en EEUU, y ahora vemos que puede ir del 25% en Alemania al 5% en Corea. Ves que no funcionan las mismas cosas en unos países que en otros. Parece muy difícil encontrar regularidades, algo que funcione en todas partes. No es una gran alegría para la ciencia pedagógica, pero sí lo es para el arte pedagógico: aquí no hay reglas; tiene que venir el artista o el clínico, ver el problema y darle una solución en cada contexto. Es una gran alegría para el profesor.

¿Hay alguna regularidad alguna correlación que distinga a nuestro país de otros?
No hay ninguna regularidad que llame la atención. La influencia del origen social está en 10-12%, que está en la gama media-baja. Otra de las cosas que dan bajas en España es lo que llaman la equidad: nuestros resultados son muy homogéneos; la desigualdad está por debajo de la media. La única correlación sólida que se encuentra es entre la disciplina en el aula y los resultados. Pero no se sabe si es que, cuando el profesor logra mantener la disciplina en el aula, los alumnos aprenden más; o es al revés: cuando los alumnos son buenos y estudiosos, la disciplina es más fácil. Sabemos que la habilidad para mantener la disciplina es diferente entre unos profesores y otros; como se analiza el resultado por escuelas y no sabemos en qué profesor están pensando los alumnos cuando se les pregunta, la variable ha de ser obviamente el tipo de alumnado.

¿No dice PISA que mayor autonomía en las escuelas sí está relacionada con mejor rendimiento?
Dice que las escuelas con mayor autonomía tienden a rendir mejor, pero “en sistemas con más procedimientos de rendición de cuentas y mayor colaboración entre profesores y directores”. Tienen que darse esas condiciones, pero ¿cómo las establecemos?, ¿qué es mayor rendición de cuentas? Hay unos ocho países con alta autonomía y buenos resultados. De ellos, cinco dicen tener sistema de rendición de cuentas y tres no. Y sobre la base de estos números se establece esta relación tan general. Es insostenible. El sistema mediante el que se establece la rendición de cuentas es confuso.

¿Los políticos saben leer PISA?
No creo que ninguno haya tenido tiempo de leer PISA.

¿Saben interpretar los resultados?
No… Lo que yo trato de transmitir en mis libros es que se lee sistemáticamente mal porque los propios autores, la propia OCDE, induce a ello para vender el producto. Lo venden muy bien porque lo venden en forma de ranking, que es donde ves que todos los políticos sucumben. Si uno quiere que un problema adquiera relevancia, lo único que tiene que hacer es un ranking de países.

¿Y dónde está el error?
PISA se ha fundado en un malentendido gigantesco: que las escuelas, las políticas educativas y los métodos de enseñanza eran importantes para las competencias, que llaman “literacia”, de nivel medio-alto. La OCDE considera que el capital humano es muy importante para el desarrollo de los países. Misteriosamente, el concepto de capital humano lo han ido reduciendo a capacidades cada vez más generales –lo último, resolver problemas en la vida real– y han ido olvidando las habilidades específicas. El segundo problema es que finge que la formación general se da en la escuela, cuando lo que se da en la escuela es formación específica. Las capacidades generales para resolver problemas se dan en cualquier ámbito de la vida. Pero PISA hace como que esa formación general se da en la escuela.