¿Qué sucedió en España en la última edición de PISA?

La mañana del 15 de noviembre la OCDE emitía un comunicado explicando que se aplaza la publicación de los resultados de PISA para España en la competencia central en esta edición: Lectura. España no figurará en el ranking principal el 3 de diciembre, cuando se hará público el informe, aunque sí lo hará en los de Ciencias y Matemáticas, por haberse detectado respuestas inverosímiles de los alumnos examinados en ciertos centros de algunas zonas de España en la sección de fluidez lectora. Estos patrones de contestación (muy rápido, todas sí o todas no) han llevado a la OCDE y a España a posponer hasta que se diriman las causas la publicación de los resultados en Lectura al no poder garantizar su comparabilidad.

Las comunidades reciben dos meses antes un avance de cómo les ha ido en la prueba bajo compromiso de confidencialidad y esta vez el Ministerio les había trasladado hace unas semanas que se habían detectado resultados anómalos que estaban estudiando. Pero el viernes 15 se enteraron por la prensa del aplazamiento. Una hora después, el Ministerio lo comunicaba oficialmente. En los próximos días habrá reuniones en el Instituto Nacional de Evaluación Educativa del grupo de trabajo que lleva a cabo las pruebas PISA, conformado por Ministerio y comunidades, convocadas por los administradores de las pruebas.

En las comunidades hay cierto revuelo y, aunque cada una sabe solo sus resultados, corre el runrún de que algunas habían bajado mucho en esta edición (hasta límites inasumibles en Lectura y en menor medida en Ciencias y Matemáticas). Para ellas PISA supone un despliegue importante, tanto a nivel organizativo como de inversión –una parte del coste de la realización y tratamiento de datos la asume el Ministerio, pero las comunidades desembolsan unos 85.000 euros, aunque en función del tamaño de su muestra–.

De momento, esperan saber si hay alumnos de su comunidad con ese comportamiento anómalo –que se ha observado en un tercio de ellas, sobre todo las de mayor tamaño–. Y, aunque no ocultan su contrariedad por el hecho de que no se conozcan los resultados de Lectura el 3 de diciembre –sobre todo las que suelen salir mejor paradas–, creen que es pronto para pedir responsabilidades y apelan a la prudencia. Prudencia, por no decir mutismo, que se traslada al Ministerio de Educación, que emplaza a ese día para dar más información. Todo indica que hasta el último momento se intentó salvar la publicación de los resultados de España en Lectura pero no fue posible.

Aunque las pruebas se desarrollaron en la primavera de 2018, las alarmas por anomalías no saltaron en un principio. Desde la OCDE, la analista de datos de PISA, Miyako Ikeda, reconoce: «Hemos estado trabajando en esto los últimos meses. Y es probable que pasen algunos más antes de que tengamos una respuesta».

Actualmente sitúan en un 5% los estudiantes «afectados» en diferentes partes de España, pero «podría ser la punta del iceberg«. Cuando unos datos no cumplen los «estándares técnicos» la OCDE los descarta «para mantener la integridad de sus proyectos», explica Ikeda, que añade que no ha habido en otros países anomalías en la sección de fluidez lectora con la misma intensidad que en España y que estas tampoco afectan a Ciencias y Matemáticas en nuestro país, aunque también están examinando «un impacto potencial en los resultados de ambas».

Para Ikeda, el reto es dar con las causas, aunque descarta hipótesis como el boicot, pues «el comportamiento inverosímil habría sido visible en otras partes de la prueba más allá de la de fluidez de lectura»; el cansancio, pues esta sección se situaba al inicio de la prueba de Lectura, esto es, al comienzo de una prueba de dos horas o tras una hora de prueba (Matemáticas o Ciencias) y el pertinente descanso; o una reacción ante preguntas demasiado difíciles. Aunque la fluidez lectora se haya incluido por primera vez en esta edición, Ikeda reconoce que sus ítems «son fáciles». «La información actualmente disponible no indica que haya habido una distorsión intencional de los datos por alguna de las partes», zanja.

En PISA, los patrones de respuesta de los estudiantes se revisan concienzudamente. Lo facilita el hecho de que la prueba se realice por ordenador desde 2015, lo que aporta información sobre el tiempo dedicado a responder y la navegación (dónde hizo clic el estudiante, cuántas veces).

El hecho de que la sección de fluidez se sitúe al inicio de la prueba de Lectura y de que haya habido más contestaciones anómalas en alumnos que habían pasado antes las pruebas de Ciencias o Matemáticas hace que se abra paso la teoría de que los alumnos interpretaron esa primera parte como un entrenamiento, como un paso que se podían saltar pues ya sabían cómo funcionaba el test. Lejos de serlo, sus respuestas en esa sección condicionaban el nivel de dificultad de las siguientes (ajustadas a un nivel 1, 2, 3, 4 o 5 de competencias).

Al ser tan amplia la muestra en España es también más sensible a desviaciones como esta, con alumnos etiquetados como rezagados que en realidad no lo eran. Tanto a la OCDE como al Ministerio les interesa quitar hierro al asunto. A la primera, para que no se ponga en riesgo su prestigio cuestionando el diseño de la prueba. A la segunda, para que no se incida en cómo se aplicó y si, como parece, este patrón de respuestas se dio con unos equipos de aplicación, enviados por una empresa subcontratada, pero con otros no. «Estos patrones anómalos no son el resultado de errores de análisis de datos o de gestión de datos por parte de las autoridades españolas; reflejan el comportamiento de respuesta real de los estudiantes. Identificadas las causas evaluaremos el impacto de las anomalías y exploraremos cómo podemos evitar que vuelva a suceder en el futuro», concluye Ikeda.

En los meses en que se pasó PISA en España, abril y mayo de 2018, hubo un gran «estrés de pruebas«, como recuerda el director de un instituto que participó en la última edición: de evaluación final censales en dos días, de nivel de inglés (exámenes Cambridge), PISA, de acceso a ciclos de Grado Medio, para titular en ESO, de recuperación (los exámenes de septiembre se adelantaron)… y este estrés fue acompañado de un movimiento antievaluación, lo que alimentó en un principio la teoría de un posible boicot. Pero en los últimos días esta pierde fuerza y se abre paso la explicación de un error de interpretación inducido por una mezcla de error de diseño y de aplicación.

Lo cierto es que hay una serie de factores que PISA no es capaz de controlar. De un lado, que ciertos países se la tomen demasiado a pecho y entrenen sistemáticamente a sus alumnos para la prueba. De otro, que los alumnos no se la tomen en serio. La investigadora Pelin Akyol ha dedicado un análisis a esta última cuestión, en el que sostiene que, dado que PISA es un examen de «bajo riesgo» –los alumnos no se juegan nada en realidad– hay pocas razones para que se la tomen en serio.

Diferentes autores de nuestro país como Ildefonso Méndez, Antonio Cabrales o Pau Balart y de fuera de España como Svein Sjøberg, de la Universidad de Oslo, han estudiado cómo los distintos patrones culturales influyen en la actitud ante PISA.

«El test es anónimo y sin repercusiones para el estudiante, la clase, el profesor o el centro. Los alumnos no reciben los resultados, solo permanecen sentados durante dos horas para ofrecer datos a la OCDE. Si encuentran el test estúpido pueden reaccionar demostrando que no se van a molestar en aportar esa información a la OCDE. Pero en cada país los alumnos reaccionan de un modo distinto ante este tipo de pruebas, sobre todo cuando no les ven sentido. Algunos se muestran críticos no acatando lo que consideran estúpido. Y en algunos países esta resistencia puede convertirse en un importante desafío para lograr datos válidos. En otros países, los directores, los profesores y los alumnos siempre hacen lo que se les dice que hagan. Son leales y obedientes, y pueden terminar como ganadores en PISA (Corea, Singapur, Japón, China…)», plantea Sjøberg. Para el autor, PISA simplemente no puede evitar que se den este tipo de distorsiones intencionadas, «porque afortunadamente no tiene un poder dictatorial sobre los alumnos».

Desde la Universidad de las Islas Baleares Pau Balart, que ha analizado junto a Antonio Cabrales en La maratón de PISA cómo en las comunidades que suelen salir mejor en PISA hay un menor decaimiento en el rendimiento a medida que transcurre la prueba, señala la importancia de que en esta ocasión se haya podido detectar el problema, se haya reconocido que hay un error y se haya retrasado la publicación. «Da fiabilidad al resto. Garantiza que los demás resultados cumplen con todos los criterios de rigor», apunta.

1. Precedentes. Países Bajos en 2000, Reino Unido en 2003, EEUU en 2006, Malasia y Kazajistán en 2015 han registrado anomalías en los datos que las excluyeron de la comparativa internacional. En EEUU también se eliminaron por completo los resultados de Lectura, como ahora en España. Por no considerarse consistente su muestra, Argentina fue excluida en 2015. Es la primera vez que la causa es un comportamiento inverosímil de los alumnos.
2. Ampliación de la muestra. España es el país que más ha ampliado la muestra en esta edición –36.000 alumnos de 1.102 centros, como mínimo 50 centros por comunidad, con algunas como Madrid especialmente volcadas con la aplicación de la muestra– . Con ella se pretendía realizar una comparativa no solo entre comunidades sino por titularidad: públicos, privados y concertados. Cada comunidad autónoma española se comporta en realidad como un país. De Finlandia se presentan a PISA 50 centros.
3. Sobreexposición mediática. España es el país donde los informes sobre Educación de la OCDE gozan de una mayor exposición en el debate mediático, tras EEUU.
4. Financiación. Los 74 países pagan por participar y obtener datos fiables del nivel de sus alumnos, pero incrementa el coste el tamaño de la muestra o el número de lenguas en que se pasa. España es uno de los países que sufragan una parte mayor de PISA. También aquí cada comunidad se comporta como un país.
5. Comprensión lectora. La última vez que la Lectura fue la protagonista de PISA fue en 2009. Entonces España obtuvo 481 puntos, frente a los 493 que había obtenido en 2000, en la primera prueba PISA, también centrada en Lectura. Aunque los datos de España en PISA no suelen registrar cambios drásticos sí que resultó significativo el bajón el Lectura en 2006, cuando registró 461 puntos. En 2015 por primera vez supera la media de la OCDE, con 493 frente a 496 puntos.
6. España y la OCDE. Sus relaciones pasan por un buen momento. El secretario de Estado de Educación y FP, Alejandro Tiana, proclamaba el pasado junio que el Ministerio volvía a acoger presentaciones formales de estudios internacionales de la OCDE tras 10 años sin ellas. Carmen Tovar, directora del INEE, es una de las vicepresidentas de la Junta de Gobierno de PISA y España organizará la próxima conferencia ministerial en París en 2020.