fbpx
Actualidad Especial PISA 2018
< Volver a Tribunas

Algunas reflexiones sobre PISA

Recién publicados los resultados de PISA correspondientes a la edición de 2018, la “fiebre PISA” parece inundar los medios de comunicación.
Álvarez Morán, S. ; Carleos Artime, C. ; Corral Blanco, N.
Dpto. Estadística e I. O. y Didáctica de la Matemática. U. de Oviedo
5 de diciembre de 2019
0
0

Ejemplo de una pregunta de la pasada edición de PISA en inglés.

Esta edición viene cargada de polémica desde el momento en que la OCDE decidió no presentar los resultados de Lectura en España señalando que, aunque la prueba cumplió con las normas técnicas de PISA 2018, los datos mostraban “anomalías” en “un número relevante de estudiantes españoles”.  Por ello se hace preciso un análisis detallado de las conclusiones que se establecen  antes de utilizarlas para definir políticas educativas.

En este primer momento la atención mediática se centra en señalar qué países ocupan los primeros puestos, cuáles mejoraron sus resultados y cuáles los empeoraron, y esto desciende a las comunidades autónomas en el caso de nuestro país. Estas primeras valoraciones no pueden ir más allá pues el 3 de diciembre la OCDE presentó tres Volúmenes de Informes que suman más de mil páginas: el primero Lo que los estudiantes conocen y pueden hacer, el segundo Donde todos los estudiantes pueden tener éxito y el tercero Lo que la vida de la escuela significa en las vidas de los estudiantes. Es llamativo que se publiquen estos informes sin que esté disponible el Informe Técnico, en el que deben figurar todos los elementos relevantes de la investigación.

Es llamativo que se publiquen estos informes sin que esté disponible el Informe Técnico, en el que deben figurar todos los elementos relevantes de la investigación.

Ahora bien, hay que tener mucho cuidado con estos rankings y su fiabilidad. Cada estudiante contesta solo a una parte de las preguntas de rendimiento de las diferentes competencias que plantea la prueba; en 2015, por ejemplo, menos del 50% de los estudiantes respondieron a preguntas de matemáticas y otro tanto ocurrió con la comprensión lectora. Sin embargo PISA les imputó una puntuación en cada competencia teniendo en cuenta las respuestas que hubiesen dado en las otras dos y los valores en las variables de contexto tales como el estatus socio-económico, el sexo, etc.

Cuando la OCDE señala que los resultados de España en Ciencias y Matemáticas están menos afectados, y de ahí su publicación, convendría saber cuál es su grado real de afectación. Es muy importante no perder de vista que tales puntuaciones están influidas por las respuestas a la competencia Lectora, sobre la que ya sabemos que hay inconsistencia en las respuestas.

La tentación de copiar los sistemas educativos que tienen mayor éxito, como el de Finlandia o algunos países asiáticos, es muy fuerte pero necesita de una profunda reflexión y de un amplio consenso. La Educación no se puede separar del resto de la sociedad  y no está claro que queramos vivir como los chinos o dar a los maestros la importancia social que tienen en Finlandia. En cualquier caso, no resulta viable plantear currículos con muchos contenidos, impartidos en profundidad y para todos los estudiantes.

Cuando la OCDE señala que los resultados de España en Ciencias y Matemáticas están menos afectados, y de ahí su publicación, convendría saber cuál es su grado real de afectación

Es incuestionable la influencia PISA en las políticas educativas. Basten como ejemplos el que en el Preámbulo de la Ley Orgánica 8, vigente actualmente, se señale que la implantación de determinado tipo de pruebas externas “tiene un impacto de al menos dieciséis puntos de mejora de acuerdo con los criterios de PISA”, o que en el Marco Estratégico de la Unión Europea 2020 se pretenda conseguir que: “se reduzca a menos del 15% el porcentaje de jóvenes de 15 años con bajo rendimiento en Lectura, Matemáticas y Ciencias según la Evaluación PISA”, de ahí que haya que ser muy cuidadosos con las conclusiones que PISA presenta.

En el Prefacio de los tres volúmenes de Informes PISA 2018 se insiste en esta  influencia de PISA cuando se señala que “en las últimas dos décadas, PISA se ha convertido en el principal criterio del mundo para evaluar la calidad, la equidad y la eficiencia de los sistemas escolares y una fuerza influyente para la reforma educativa. Ha ayudado a los responsables políticos a reducir el costo de la acción política al respaldar decisiones difíciles con evidencia, pero también ha elevado el costo político de la inacción al exponer áreas donde la política y la práctica son insatisfactorias”. En tal prefacio también se indica que “una de las mayores fortalezas de PISA se apoya en sus métodos de trabajo” y que “los detractores de las pruebas PISA de rendimiento argumentan que son injustas porque enfrentan a los estudiantes con problemas que no han encontrado en las escuelas”.

La realidad es bien distinta, ya que esta crítica es la menos importante de las que, desde hace una década, se están planteando a PISA por parte de los investigadores educativos, con  bases bien fundamentadas y en las que se discuten los instrumentos de medida que utiliza, los cuestionarios que aplica o los análisis que realiza ([1], [2] [3] [4] y [5]). Así, en la edición del 2012 de PISA los resultados muestran que la metodología denominada “enseñanza dirigida por el docente (EDD)”, que se apoya en las clases magistrales, tenía una correlación negativa con el rendimiento de los estudiantes mientras que en el 2015 tiene una correlación positiva en más del 70% de los países participantes.

En la edición del 2012 los resultados muestran que la metodología denominada “enseñanza dirigida por el docente”, que se apoya en las clases magistrales, tenía una correlación negativa con el rendimiento mientras que en el 2015 tiene una correlación positiva en más del 70% de los países

Andreas Schleicher, director de PISA, en su publicación ([6]) recomienda a España que para mejorar en las pruebas se trabaje menos la memoria y más la capacidad crítica, o el trabajo en equipo y la creatividad. Estas recomendaciones son muy razonables y sobradamente conocidas pero contrastan con los resultados que PISA publicó en sus informes. Por ejemplo, la forma de trabajar que menciona, es una referencia clara a la “enseñanza basada en la investigación” (EBI), que en PISA 2015 presentó una relación negativa con el rendimiento en la gran mayoría de los países.

¿Cómo se enseña en los países del este de Asia? ¿Siguen los procedimientos que apoya PISA? Por ejemplo, en el caso de las Matemáticas, en la página 155 del informe de PISA ([7]), se puede leer: “Es importante señalar que los países del Este de Asia, con alto rendimiento, la exposición a matemáticas formales es significativamente más fuerte que en el resto de países participantes en PISA. La exposición a problemas de texto muestra el patrón opuesto”. Esto contradice la propuesta de PISA de resolver los problemas de matemáticas en el contexto del mundo real.

Tras casi dos décadas de aplicación de PISA quizás haya que pararse a pensar si las debilidades de la prueba son superiores a sus posibles fortalezas y si realmente merece la relevancia mundial que se le asigna.

Referencias:

0
0