Algunas aclaraciones sobre la evaluación PISA

Un frenesí de titulares en el que parece que solo interesa el palmarés, el hit-parade y, frecuentemente, el alarmismo pintando un panorama catastrófico sobre la Educación española, que sin duda tiene amplio margen de mejora, pero que no responde a la imagen estereotipada con la que a veces se la describe.

Seguramente en esta edición de 2018, todo será algo más moderado y los adjetivos no serán tan contundentes por dos razones: primera, porque carecemos del dato clave de esta edición, los resultados y el análisis de la competencia lectora, circunstancia verdaderamente incomprensible, pero que, mirándolo por el lado bueno, nos evitará bastantes disgustos. Y, en segundo lugar, porque son distintos los responsables políticos durante el momento de la aplicación de las pruebas y el de la entrega de resultados. Ya hemos visto cómo lógicamente unos y otros se quitan las culpas.

Para ayudar en la contextualización de los resultados y, dentro de lo posible, relajar el debate, ofrezco a continuación ocho informaciones sobre la evaluación PISA:

1. El estudio PISA es, probablemente, el mejor instrumento de evaluación comparativa de sistemas educativos construido por la comunidad científica y educativa hasta el momento. Si no existiera PISA, habría que inventarlo. Es una evaluación seria y fiable, que trabaja con estándares muy exigentes en la construcción de las pruebas, en la traducción de los ítems a las diferentes lenguas, en el proceso de aplicación y en el análisis estadístico de los resultados. Pero nada humano es perfecto y se pueden realizar muchas críticas, por ejemplo, a los cambios no suficientemente explicados en la metodología de análisis desde 2015 o a la fiabilidad comparativa tras el profundo cambio que se ha llevado a cabo en 2018 en la adjudicación de ítems a contestar por cada uno de los alumnos evaluados.
2. No hay duda de que PISA ha tenido muchísimo más éxito que otras evaluaciones, que no alcanzaron ni la mitad de su difusión y relevancia. Hay dos razones claras que explican este éxito: por un lado, todas las evaluaciones internacionales realizadas anteriormente evaluaban al alumnado de un determinado curso, con las enormes dificultades de lograr equivalencias válidas entre cursos educativos dada la diversidad de sistemas educativos. Sin embargo, PISA optó seguir un estricto criterio de edad, los 15 años, momento en el que en la mayoría de los países desarrollados termina la escolarización obligatoria y además no ligarlo a un currículo específico. Hay además otra razón, la brillante diseminación de sus informaciones y la potencia y amplitud de sus informes.
3. PISA nació como una necesidad de disponer de indicadores de rendimiento con un carácter cíclico. El origen del estudio PISA estuvo ligado a otra iniciativa de la OCDE, el proyecto INES dedicado a la producción de indicadores internacionales de educación, que viene desarrollándose desde 1990 y que se publica cada año con el título de Education at a Glance. Durante mucho tiempo, los indicadores se vinculaban a dotaciones y recursos, a tasas de escolarización o a niveles de inversión, mientras que había enormes dificultades para disponer de indicadores de rendimiento, sin los cuales es difícil juzgar la efectividad o el éxito de un sistema educativo en relación con otros países. Hasta el año 2000, el INES tomaba como referencia los estudios de la IEA, organización surgida en 1960, que puso en marcha estudios comparativos de rendimiento en matemáticas y ciencias (TIMSS) y lectura (PIRLS). Sin embargo, estas evaluaciones carecían de la periodicidad necesaria para alimentar el sistema de indicadores. Por ello, en 1997 se acuerda la puesta en marcha del estudio PISA, llevándose a cabo la primera edición 2000 con solo 28 países de la OCDE y 4 no-miembros.
4. Desde entonces, PISA-OCDE ha supuesto el advenimiento de una especie de gobernanza global de la Educación, el denominado “poder suave”, a través del que se vehiculan muchos de los cambios e innovaciones más significativas en la educación a nivel mundial. Desde el año 2000, la participación ha crecido constantemente hasta los 79 de la actual edición, que conforman el 86% de la economía mundial y representan a más de 32 millones de estudiantes de 15 años. A pesar de todas las críticas que han surgido en los últimos años, ningún país ni ningún sistema educativo quiere, ni de hecho puede, estar fuera de PISA.
5. La evaluación PISA depende de una organización económica, la OCDE, de carácter capitalista e ideología liberal, que agrupa a gobiernos y no a organizaciones independientes. De hecho, muchos estudios e investigaciones como consecuencia de los datos PISA están en el ámbito de la economía de la Educación. Hoy, nos guste o no, la imagen de la Educación de un país a nivel internacional se refleja en la puntuación obtenida en este estudio y muchos movimientos empresariales e inversiones toman como referencia sus resultados. Hay investigaciones que aseguran que lograr 50 puntos más en la prueba PISA supondría un aumento de casi un 1% en la tasa de crecimiento de la renta per capita y hay potentes estudios longitudinales que afirman que las puntuaciones en PISA a los 15 años son un mejor predictor del éxito posterior que las calificaciones escolares. La razón de todo ello es que, si hay grandes sectores de la población adulta con un bajo nivel de competencias, se hace más difícil mejorar la productividad y hacer un mejor uso de la tecnología y eso se convierte en una barrera para mejorar las condiciones de vida.
6. PISA no mide lo que se hace en los centros educativos, no tiene el objetivo de evaluar el rendimiento académico o el aprovechamiento escolar. Por eso es un tremendo error vincular la calidad de un sistema educativo directa y exclusivamente con las puntuaciones PISA. En sentido estricto, es más un estudio de alfabetización funcional o lo que PISA denomina literacy y que en castellano se viene traduciendo como literacia, una especie de competencia general de los jóvenes de 15 años para desenvolverse en su inserción en la vida adulta y resolver problemas utilizando los aprendizajes y la experiencia vital adquirida tanto en su educación formal como fuera de la escuela, con todo lo que esto supone.
7. PISA está muriendo de éxito o, mejor dicho, el éxito de PISA le está llevando a graves contradicciones. Solo un dato entre muchos otros, en la primera edición del año 2000 no participaron la mayoría de los países ni las ciudades asiáticas que hoy están en la cabeza del ranking, con culturas y sistemas educativos muy distintos de los existente en los países occidentales. En aquel momento, Finlandia se situó en la cabeza y este hecho marcó todas las conclusiones del estudio PISA, de forma que apostó por sistemas comprensivos, por una Educación inclusiva o por la equidad y el valor positivo de la heterogeneidad, frente a los sistemas más selectivos, como el alemán, que sufrió un auténtico impacto al conocer que la diferencia de rendimiento entre sus centros educativos representaba casi un 50% de la varianza, frente al 5% de los centros finlandeses. Hoy, la conclusión de PISA es que el modelo de enseñanza en Secundaria no está en relación con los resultados. Es más, todos los esfuerzos por explicar diferencias de resultados a partir de variables organizativas o didácticas han sido inútiles o las correlaciones son muy débiles.
8. Finalmente, es probable que PISA no sea capaz de decirnos muchas cosas nuevas que ayuden a la mejora de los sistemas educativos. La mayoría de las reformas e innovaciones impulsadas por la OCDE han tenido un escaso éxito. Además, la casi inexistente movilidad en los resultados de los países y comunidades (recordemos que bajadas o subidas de entre 10-15 puntos no suelen ser significativas) y el hecho de que la mayoría de los países de nuestro entorno están en un espectro de puntuación relativamente cercano hace que sea necesario no sacralizar este estudio y darle un enfoque limitado.