Entre Timms y PISA: el uso y abuso de las pruebas internacionales
Dicen que las comparaciones son odiosas, pero lo cierto es que en Educación gustan y mucho. PISA, Timms, Pirls… A la par que las evaluaciones internacionales incrementan su influencia y número de participantes, crecen las críticas de los especialistas que consideran que el planteamiento no es el apropiado, que hay países incomparables o que si se pregunta tal cosa y no tal otra.
| Características | PISA | Timms |
|---|---|---|
| Autores | Organización para la Cooperación Económica y el Desarrollo (OCDE) | Asociación Internacional para la Evaluación del logro Educativo (IEA) |
| Muestra | Basado en edad: niños de 15 años | Basado en curso: 4 y 8º curso |
| Filosofía de Evaluación | Medida de la capacidad para aplicar lo que han aprendido a situaciones reales (socioconstructivista) | Medida de lo que ha aprendido en el currículo escolar |
| Marco | Aprendizaje dentro y fuera de la escuela, incluidas actitudes, valores y creencias. | Temas del currrículo escolar |
| Contenido: Matemáticas | Competencias en Matemáticas: espacio y forma, cambio y relaciones, cantidad, incertidumbre. | Matemáticas de 4º Curso: Números, figuras geométricas y medidas. Matemáticas de 8º: Números, álgebra, geometría y probabilidad |
| Contenido: Ciencia | Competencias en Ciencia: Sistemas físicos, sistemas de vida, sistemas de Tierra y espacio y sistemas tecnológicos. | Ciencias de 4º Curso : CIencias de la vida, Ciencias Físicas y Ciencias de la Tierra. Ciencias de 8º: Biología, Química, Física y Ciencias de la Tierra |
| Recomendaciones políticas | Numerosas | Escasas |
El último veredicto proviene del informe Cómo están aprendiendo los estudiantes americanos, que acaba de publicar el Think Tank estadounidense Brookings, encargado de realizar investigaciones y recomendaciones sobre democracia, bienestar, y cooperación internacional. En este estudio, su autor, Tom Loveless, catedrático de Políticas Públicas de Harvard, lanza una advertencia sobre las evaluaciones internacionales y enumera una serie de puntos débiles, a su parecer, de PISA.
“¿Estás a favor de la creación de leyes para proteger el hábitat de las especies en peligro?”. Preguntas como ésta de PISA 2006, parecen ser las que no han gustado del todo a los autores del informe, que consideran que “incluyen tanto creencias como conocimientos” en sus enunciados. En particular frente asuntos tan polémicos en los Estados Unidos como la dialéctica evolucionismo-creacionismo o el famoso “cambio climático”, que mantienen dividida a la población.
“PISA quiere valorar si los estudiantes son capaces de aplicar la ciencia a las políticas públicas”, recuerda el informe. “Está bien, esta capacidad puede ser evaluada, sin embargo, sin hacer juicios de las creencias políticas de los estudiantes”, critica. Ya que, según esta investigación, restan objetividad a la evaluación: la esencia de PISA, de medir las competencias, en vez de lo aprendido; la evaluación de “actitudes, valores y creencias” para determinar la competencia científica; o las recomendaciones políticas desde un órgano –la OCDE– que de antemano ya toma posiciones políticas. Tampoco la correlación entre resultados de los estudiantes y la marcha de los sistemas educativos parece satisfacer al profesor Loveless.
Otro punto de desacuerdo para los miembros de Brookings es la evaluación del mismo nivel de Matemáticas a todos los niños de 15 años, “otro de los temas en el candelero en los círculos políticos estadounidenses”, advierte. Según Loveless, lo único que se consigue con “una política de álgebra para todos” es perjudicar tanto a los alumnos más desaventajado –“que malgastan un año, perdidos en un currículo de Matemáticas avanzadas cuando todavía no han aprendido la aritmética elemental”–, como a sus compañeros.
La conclusión del informe es que PISA, comparado con Timms –la otra gran evaluación educativa– no es apropiado para medir a los alumnos norteamericanos. Pero, ¿ en qué difiere una y otra? En primer lugar, en su esencia. PISA evalúa las competencias de los estudiantes en Matemáticas, Ciencia y lectura de los niños de 15 años, “lo que antiguamente llamábamos cultura general”, –aclara la viceconsejera de Educación de la Comunidad de Madrid, Alicia Delibes–; y Timms mide el aprendizaje dentro del currículo escolar. “Por eso, una evalúa a los estudiantes de 15 años –que por lo general son los que terminan la obligatoria–; y la otra a los de 2º y 4º de ESO”, recuerda Delibes.
Según Josu Sierra, director del Instituto Vasco de Evaluación, el valor de PISA es precisamente ese, que “se centra en competencias clave que son importantes para todos, independientemente de los currículos”. Además, al evaluarse a los alumnos por edad “permite ver la situación de los repetidores y las diferencias de itinerarios en otros países”, explica.
En lo referente a la inclusión de ideología en las preguntas de PISA, Delibes considera que “es evidente que sus autores son progresistas y eso se refleja en los cuestionarios”. Pero por desgracia, “a la gente le interesan más las estadísticas que lo que se pregunta”. Aunque reconoce que al final, “PISA sirve de punto de referencia porque es a la que más países acuden”.
Eso sí, lo más importante serán “las recomendaciones que cada país haga a raíz de sus resultados”, recuerda Josu Sierra, para el que en 2009, a nivel general no cree que haya “grandes cambios”; servirá para “confirmar la tendencia de los que se presentaron por tercera vez”; y será clave para las Comunidades que se estrenaron en 2006, “porque lo más dificil es mantenerse”.