Cómo no presentar los resultados de una prueba de evaluación

Hace unos días, la Dirección General de Ordenación Académica presentó un resumen de lo que han dado de sí las pruebas de Conocimientos y Destrezas Indispensables (CDI) realizadas ya durante dos años a todos los alumnos de 6º de Primaria de la Comunidad de Madrid. Hay que decir que es un pobre resumen y una constatación del fracaso de unas pruebas que algunos defendimos en su momento. Y las seguimos defendiendo. Pero no para esto.
Para empezar, el libro está lleno de non sequitur, de conclusiones no avaladas por los datos. También tiene errores de interpretación de algunos de los datos y, para finalizar, muestra las enormes flaquezas de un diseño de pruebas pobre y de una estructura administrativa, la de la Comunidad de Madrid, que está pidiendo como el comer un organismo que se encargue de la evaluación del sistema educativo de otra forma, que agrupe los distintos experimentos y diseñe unas evaluaciones comparables, fiables y con un buen soporte técnico.

Los errores

Por poner ejemplo, de conclusiones no avaladas por los datos, está la que pone punto y final al libro: que la mejora de la prueba de 2006 se debe a que los docentes han trabajado los contenidos de la prueba de 2005. Es posible, en parte, que así haya sido, pero hay muchas otras formas de conseguirlo bastante más baratas. Además, también influye la evidente menor dificultad de la segunda prueba y el hecho de que los maestros sabían qué se les iba a pedir. Esto último podría haberse hecho también antes de la primera prueba.
Entre los errores de interpretación de datos destaca el análisis de los resultados escolares. El conocido aumento de los suspensos en asignaturas troncales según avanzan los alumnos de curso hasta su repentina disminución en 4º de la ESO es interpretado con obviedades que parecen descubrir América, dejando de lado conocidos efectos como la acumulación de alumnos derrotados en ciertos cursos, el efecto de final de ciclo y el abandono escolar.
Por fin, la presentación de los resultados de las pruebas ya ponen en solfa el diseño de la prueba misma. El hecho de que la desviación típica (la dispersión de las notas) de las distintas pruebas sea menor cuanto más se acercan al 10 indica lo fácil que es llegar a la nota máxima para muchos alumnos (el problema de no haber diseñado una prueba con distintos grados de dificultad), lo que desbarata en parte las conclusiones y la prueba: seguimos sin saber cuánto saben los que saben.
Lo que demuestran estos errores, en el fondo, es la insuficiencia de la Dirección General de Ordenación Académica de llevar a buen puerto unas pruebas de diagnóstico fiables que nos ayuden a comprender qué pasa con el sistema, dónde pasa lo que pasa, y por qué.