¿Para qué sirve PISA?

El objetivo de PISA, tal y como lo declara la propia OCDE, que es quien coordina y elabora el informe, es el de “evaluar hasta qué punto los alumnos cercanos al final de la Educación obligatoria han adquirido algunos de los conocimientos y habilidades necesarios para la participación plena en la sociedad del saber”. No se trata, pues, de un examen de reproducción de conocimientos, sino de una evaluación de competencias adquiridas por los alumnos de 15 años, independientemente del curso que estudien en ese momento, esto es, de que haya repetido, o no, uno o más cursos. En concreto, el examen PISA evalúa la adquisición de competencias en tres materias troncales incluidas en los currículos de la mayoría de los países del mundo: matemáticas, ciencias y comprensión lectora.

Una vez hechas las presentaciones, la cuestión sigue siendo: ¿para qué sirve participar en el informe PISA? Entienda el lector que el verbo participar es pertinente por cuanto los países, y las comunidades autónomas o territorios que deseen obtener sus propios resultados, han de pagar una destacada cantidad de dinero para que la OCDE les incluya en el estudio, definiendo muestras representativas de la población de estudiantes de 15 años, encargando a empresas la formación de evaluadores que garanticen unas condiciones homogéneas en la realización del examen, y alterando la rutina diaria de los centros para realizar una prueba que, como bien saben los estudiantes, no condicionará en modo alguno su expediente académico ni su nota de acceso a la universidad.

Pues bien, pese a tanto condicionante, he de afirmar, como investigador, que el informe PISA resulta de gran utilidad para que podamos avanzar en el conocimiento de los factores determinantes del funcionamiento y resultado, en términos de calidad de la formación recibida, de los sistemas educativos. Lo menos relevante del informe PISA es el famoso ranking de países y territorios en el que habitualmente centramos nuestra atención. Resulta evidente que los países, e incluso las comunidades autónomas dentro de España, difieren en tantos factores que afectan tanto a la inversión en Educación y al rendimiento de la misma, que comparar sus resultados en PISA sin tener en cuenta estas diferencias, históricas en muchos casos, es un mero ejercicio descriptivo del que no debería emanar recomendación alguna de política educativa.

La verdadera utilidad del informe PISA aparece cuando se apagan los focos, desaparece la atención mediática, y los investigadores comenzamos a analizar las respuestas. El análisis científico de los datos de PISA permite evaluar políticas educativas, comparar sistemas educativos corrigiendo por diferencias en factores determinantes, caracterizar en mayor profundidad a los sistemas educativos, estudiando su eficiencia y equidad, así como la evolución de estas dimensiones en el tiempo (convergencia/divergencia) o la identificación de los factores determinantes de las mismas.

Es, sin duda, en este análisis sosegado y riguroso, en el que pueden emanar recomendaciones útiles de política educativa que vayan más allá del manido recurso a “imitar” las características del modelo educativo del país de turno que ocupa las primeras posiciones en el ranking de PISA. Es fácil entender que las políticas educativas “trasplantadas” de una sociedad a otra sin tener en cuenta las diferencias en contexto suelen ser ineficaces.

La edición 2018 de PISA ha llegado con polémica a nuestro país, al no publicar la OCDE los resultados de competencia lectora de España por haber detectado graves anomalías en una proporción de exámenes. Estas anomalías, que parecen haber afectado en mucha mayor medida a unas comunidades autónomas que a otras, consisten en que hay una proporción inusual de errores al comienzo de los exámenes. Lo habitual es que la proporción de errores que cometen los estudiantes vaya incrementándose a medida que éstos avanzan en la realización del examen debido al cansancio acumulado y a la consiguiente reducción en su capacidad de atención sostenida. Los anómalos resultados encontrados parecen deberse a un error en la aplicación de los exámenes y, en concreto, a que los estudiantes no entendiesen, o no se les explicara adecuadamente, cuándo acababa la fase de entrenamiento y comenzaba el examen.

En un reciente estudio realizado con mis colegas Gema Zamarro y Collin Hitt, del que se ha hecho eco esta semana el diario The Washington Post, encontramos que aproximadamente un 38% de las diferencias entre países en rendimiento en PISA se deben a los diferentes niveles de esfuerzo que ponen los estudiantes en la realización de la prueba, y no a diferencias en el nivel de conocimientos. Este resultado se obtiene comparando el desigual ritmo al que se reduce la tasa de acierto a medida que avanza la realización del examen, una vez condicionamos el análisis en características de los estudiantes, sus familias y centros educativos.

Resulta, pues, que PISA no solo refleja diferencias en niveles competenciales adquiridos por los estudiantes, sino también diferencias entre países en el nivel de perseverancia o mantenimiento del esfuerzo promedio de los estudiantes. Así, podemos afirmar que una Educación centrada no tanto en contenidos, sino sobre todo en habilidades y competencias, sería una Educación que prepararía mejor a nuestros estudiantes para el mundo cambiante y global que les espera, al tiempo que permitiría mejorar nuestras posiciones relativas en PISA, para consuelo de aquellos preocupados por los rankings.