La importancia de PISA

• La OCDE no dio a conocer los datos de España de PISA 2018 en Lectura el 3 de diciembre cuando se publicó la información del resto de países (y la de la propia España en Matemáticas y Ciencias). Tampoco se dio a conocer con la publicación de los resultados de PISA 2018 relativos a la competencia financiera de los alumnos de la OCDE el reciente 7 de mayo de 2020.
• España cae 19 puntos entre PISA 2015 y PISA 2018, equivalente a lo que se aprende en medio curso escolar. Es una caída muy significativa. No es la primera vez que España muestra un descenso en sus resultados en PISA. En PISA 2006, España alcanzó solo 461 puntos en Lectura, 20 puntos menos que en la edición anterior de PISA 2003. Sin embargo, en PISA 2009 nuestro país volvió a registrar el mismo resultado que el de PISA 2003: 481 puntos.
• Habrá que esperar a conocer los resultados del propio PISA 2018 en relación a una nueva competencia, la de Competencia Global que se conocerán el 21 y 22 de octubre en Singapur, competencia para la que también habrá datos para España y sus Comunidades Autónomas https://www.oecd.org/pisa/pisa-2018-global-competence.htm.
• Es muy importante que PISA se siga realizando. De este modo, se podrá conocer si la pronunciada caída de España en PISA 2018 ha sido coyuntural o real, y más relevante aún, cuál es el efecto del cierre de los centros educativos en el aprendizaje de los alumnos.
• Los Profesores de la Uniersidad de Stanford, Eric Hanushek, y del centro de investigación IFO de Munich, Annika Bergbauer y Ludger Woessman (https://www.nber.org/papers/w24836) muestran en un estudio de 2018 que los sistemas escolares que utilizan regularmente las evaluaciones de los estudiantes y de los centros como rendición de cuentas alcanzan mejores resultados. El uso de las comparaciones externas a través de pruebas estandarizadas mejora el aprendizaje de los alumnos en un 12,7% de la desviación estándar, equivalente a más de un cuarto de los que se aprende en un curso escolar.

Se han publicado los resultados de PISA de Comprensión Lectora de España relativos a la edición de 2018, una prueba que se llevó a cabo en los meses de abril y mayo de ese año. Lectura fue la competencia principal en la prueba de PISA en 2018. Los resultados de PISA de Lectura (y de Ciencias y Matemáticas) del resto de países que participan en esta prueba que desarrolla el organismo internacional de la OCDE se publicaron ya el 3 de diciembre de 2019. También se dieron a conocer las puntuaciones de España en Matemáticas y Ciencias. PISA se desarrolla desde el año 2000 cada tres años. Cada tres años una de las tres competencias evaluadas (Lectura, Matemáticas o Ciencias) es la competencia principal. Ser la competencia principal significa que hay más preguntas en el examen de esa materia y que los análisis que realiza la OCDE en su Informe Internacional se centran en mayor medida en esa misma área. Cuando la OCDE publicó los resultados de PISA en Lectura, Matemáticas y Ciencias de los 37 países que forman parte de la OCDE y los 42 que sin ser miembros de este organismo internacional participan en PISA, no se incluyeron los resultados de España y sus Comunidades de PISA 2018 en Lectura por cuanto que “algunos datos muestran un comportamiento inverosímil en las respuestas de algunos estudiantes (Country Note de España de la OCDE https://www.oecd.org/pisa/publications/PISA2018_CN_esp_ESP.pdf). La OCDE tampoco dio a conocer los datos de España de Lectura aprovechando la publicación de los resultados de PISA 2018 relativos a la competencia financiera de los alumnos de la OCDE el reciente 7 de mayo de 2020.

Un análisis que se puede llevar a cabo ahora que ya se conocen los resultados de España en Lectura es el de contrastar el rendimiento relativo en esta competencia de un alumno con la puntuación de ese mismo alumno en Matemáticas y Ciencias. De este modo, se estará analizando si hay algún aspecto que pueda conducir a un mismo alumno a tener una puntuación muy diferente en una competencia con respecto a la otra. Es verdad que un estudiante puede tener mayor interés o competencia en una materia sobre las demás de entre Lectura, Matemáticas o Ciencias. Más sorprendente sería que una mayoría de alumnos de una clase, centro educativo o zona geográfica tuviera sistemáticamente un mejor resultado en una misma materia sobre las demás. Los análisis que se pueden llevar a cabo en los próximos meses podrán mostrar si hay algún tipo de desviación en este sentido o si no la hubiera.

Los resultados de España en PISA Lectura muestran una caída importante de 19 puntos entre 2015 y 2018, equivalente a la que se aprende en medio curso escolar. Un descenso que ha sido más acusado en algunas Comunidades Autónomas que en otras. No es la primera vez que España muestra un descenso en sus resultados en PISA. En PISA 2006, España alcanzó solo 461 puntos en Lectura, 20 puntos menos que en la edición anterior de PISA 2003. Sin embargo, en PISA 2009 nuestro país volvió a registrar el mismo resultado que el de PISA 2003: 481 puntos. No es posible saber si este vaivén reflejó bien la evolución real de las competencias en Lectura de los alumnos españoles. No es habitual registrar variaciones tan importantes, y más en un país tan grande como el de España. Y que la caída de Lectura en España entre 2003 y 2006 fuera exactamente igual al incremento que se produjo entre 2006 y 2009, confirma que es importante seguir las tendencias a largo plazo. Es decir que la puntuación de nuestro país en PISA 2018 en Lectura (y Matemáticas y Ciencias en donde también cayó en 5 y 10 puntos, respectivamente) podría ser de carácter coyuntural como ocurrió en 2006, o reflejar una tendencia real de las competencias adquiridas por los alumnos españoles. Habrá que esperar a conocer los resultados del propio PISA 2018 en relación a una nueva competencia, la de Competencia Global que se conocerán el 21 y 22 de octubre en Singapur, competencia para la que también habrá datos para España y sus Comunidades Autónomas https://www.oecd.org/pisa/pisa-2018-global-competence.htm. Las siguientes pruebas educativas internacionales serán la de TIMSS 2019, de 4º de Primaria de Matemáticas y Ciencias cuyos resultados se hacen públicos en diciembre de este año 2020 y a la próxima edición de PISA.

Precisamente, es posible que la siguiente edición de PISA, cuyas pruebas estaban previstas para los meses de abril y mayo del año entrante de 2021, se retrasen un año para llevarse a cabo en 2022. Este retraso conllevaría a que los resultados del siguiente PISA se darían a conocer en diciembre de 2023. Las pruebas de PISA llevan un estudio de campo previo en que se realiza un test a la propia prueba (para conocer si las preguntas permiten diferenciar entre los alumnos que sobresalen y los que se encuentran rezagados o si hay algún problema con los enunciados, por ejemplo). La realización de este estudio de campo y la incertidumbre que aún rodea a la crisis del Coronavirus ha llevado a la OCDE a retrasar la próxima edición de PISA un año. En cualquier caso, es muy importante que esta prueba se siga realizando. De este modo, se podrá conocer no sólo si la pronunciada caída de España en PISA 2018 ha sido coyuntural o real, y más relevante aún, cuál es el efecto del cierre de los centros educativos en el aprendizaje de los alumnos. Con los resultados de la siguiente edición de PISA y analizando la diferente incidencia del Coronavirus en los países que participan en esta prueba se podrá analizar el efecto de esta crisis sanitaria en la formación de los jóvenes que en el curso 2019-20 se encontraban en las aulas de Secundaria en 79 países del mundo. El confinamiento que han vivido los alumnos españoles y de todo el mundo desde mediados de marzo de 2020 y el consiguiente cierre de los centros educativos provocará una pérdida de aprendizaje. La literatura sitúa la pérdida que experimentarán los alumnos en cerca de un 6% de la desviación estándar o lo que viene a ser la diferencia entre España y la media de la OCDE en PISA. Una pausa en la escolaridad de tres meses que se suma a las vacaciones de verano hasta llegar a los prácticamente seis meses afecta seriamente las competencias de muchos alumnos Un efecto que puede permanecer en el tiempo traduciéndose en menores niveles de productividad de los países y más bajos salarios futuros de los trabajadores afectados como muestra el Profesor de la Universidad de Bristol Simon Burgess https://bit.ly/2E9HkM4

Los Profesores de la Uniersidad de Stanford, Eric Hanushek, y del  centro de investigación IFO de Munich, Annika Bergbauer y Ludger Woessman ( https://www.nber.org/papers/w24836 ) muestran en un estudio de 2018 que los sistemas escolares que utilizan regularmente las evaluaciones de los estudiantes como rendición de cuentas alcanzan mejores resultados. Utilizando datos de más de 2 millones de estudiantes en 59 países observados en las 6 ediciones de PISA desde el 2000 a 2015 encuentran que el uso de las comparaciones externas a través de pruebas estandarizadas mejora el aprendizaje de los alumnos en un 12,7% de la desviación estándar, equivalente a más de un cuarto de los que se aprende en un curso escolar. Las pruebas estandarizas que sólo tienen carácter interno (como las que se llevan a cabo en España en 3º y 6º de Primaria y 4º de la ESO) no mejoran, ni empeoran, el rendimiento de los estudiantes. Aun con todos los problemas, PISA es una herramienta importante para saber cómo se encuentran los sistemas educativos y cómo mejorar el aprendizaje de nuestros jóvenes.

* Ismael Sanz es profesor de la Universidad Rey Juan Carlos y exdirector del Instituto Nacional de Evaluación Educativa y exchair del PISA Strategic Development Group de la OCDE.