PISA 2022 y la cuestión territorial en España

El hecho de que la OCDE sea un organismo intergubernamental de los países desarrollados, consolidado y de gran prestigio en ambientes tanto políticos como académicos ‒con mecanismos sistemáticos y efectivos de consulta y de implicación de los países miembros‒, constituye uno de los factores que explica el avance de las evaluaciones internacionales de rendimiento de los alumnos, a gran escala, que se ha producido de la mano de PISA. Se trata de un Programa que ha superado, con creces, el impulso, la consideración y el impacto social de que ha gozado la evaluación del rendimiento de los alumnos efectuada desde la IEA (International Association for the Evaluation of Educational Achievement), a través, entre otros, del TIMSS (Trends in International Mathematics and Science Study) y del PIRLS (Progress in International Reading Literacy), desde 1995 y 2001 respectivamente.

El pasado martes 5 de diciembre se presentaron, en primicia internacional, los resultados de la edición de 2022, primera producida una vez cerrada, en lo esencial, la crisis de la pandemia del COVID-19. El impacto mediático de esta edición ha sido verdaderamente notable, con una información prolija y unos titulares rotundos, aunque realistas, sobre el rendimiento del sistema educativo español, medido por el conjunto de pruebas estandarizadas elaboradas por el programa y aplicadas bajo su supervisión.

Los cambios producidos en las sucesivas leyes educativas sobre el modelo de evaluación general del sistema educativo español (1)‒con frecuentes rupturas en las series cronológicas‒ han hecho de las evaluaciones internacionales, y en particular de PISA, un asidero fiable para emitir juicios de valor sobre el rendimiento del sistema educativo español desde una perspectiva internacional comparada, pero también desde el análisis de su evolución con el tiempo. Además, a partir de la edición correspondiente a 2015, todas las Comunidades Autónomas españolas han participado con muestras ampliadas, es decir, estadísticamente representativas de las correspondientes poblaciones. Esta información ha abierto una notable ventana de oportunidad –aprovechada más por los investigadores que por las Administraciones educativas– para la realización de evaluaciones de diagnóstico, y su comparación interregional, sobre muy diferentes aspectos de la educación escolar en el nivel propio de los territorios (2), (3), (4).

Aun reconociendo que atravesamos un contexto político amenazador de una disgregación territorial incrementada y enormemente preocupante, algunos “románticos” del espíritu y de la letra de nuestra Constitución seguimos apostando con denuedo por una España socialmente cohesionada. La cohesión social reposa en dos pilares principales que se refuerzan mutuamente: el sentido de pertenencia y la solidaridad entre individuos y grupos sociales, en una sociedad avanzada. Y es un hecho internacionalmente reconocido el papel importante que desempeña la educación, a través de múltiples mecanismos, en el fortalecimiento de la cohesión social dentro de un país, o incluso de una entidad supranacional, como es la Unión Europea.

En diversas investigaciones académicas anteriores, hemos centrado la atención en las diferencias entre Comunidades Autónomas desde el punto de vista de los inputs, o recursos que se ponen a disposición del sistema, desde el punto de vista de los outputs, o resultados, e incluso desde el punto de vista de las consecuencias de la educación más allá de la propia educación escolar ‒outcomes en el lenguaje de los indicadores internacionales‒ (5), (6), (7).

En este artículo se pretende analizar la cuestión de las brechas de rendimiento entre territorios, a la luz de la información altamente fiable que nos aporta el programa PISA. Ni que decir tiene que se trata de una cuestión de notable interés, desde el punto de vista tanto de la igualdad de oportunidades como de la cohesión social.

La idea de “brecha”, que manejaremos en lo que sigue, se corresponde con la noción de amplitud del rango de variación de una variable en un país compuesto por diferentes unidades administrativas o jurisdicciones. En nuestro caso, la variable considerada será el rendimiento en PISA 2022. Su cálculo se efectúa identificando qué Comunidad Autónoma obtiene la mayor puntuación, qué Comunidad Autónoma obtiene la menor puntuación y restando ambas cifras.

La Figura 1 muestra las brechas que resultan para cada una de las áreas evaluadas –Matemáticas, Lectura y Ciencias–. Deliberadamente se han excluido del análisis las Ciudades Autónomas de Ceuta y Melilla con el fin de asegurar una comparación en condiciones suficientemente homogéneas. En todo caso, de haberlas tomado en consideración las brechas se hubieran agrandado hasta los 104 puntos PISA en Matemáticas, 94 en Lectura y 97 en Ciencias.

 Figura 1. Brechas de puntuaciones PISA 2022 en el conjunto de las Comunidades Autónomas, en Matemáticas, Lectura y Ciencias

Fuente: Elaboración propia a partir de PISA 2022 RESULTS (VOLUME I, Annex B2) © OECD 2023.

Con el fin de aproximarnos a lo que significan esas tres cifras finales – 52, 37 y 34 puntos PISA– recogidas en la Figura 1, procede recurrir a la clave interpretativa de las diferencias que aporta PISA 2022. De acuerdo con su informe final, 20 puntos representan el “ritmo anual de aprendizaje”, promediado entre todos los países participantes, de modo que las cifras anteriores revelan, a la postre, desfases en los avances anuales entre Comunidades Autónomas. Aun cuando el dato que aporta la OCDE es el promedio de los países participantes, nos facilita una base para efectuar una estimación aproximada de lo que significan, en términos prácticos, las anteriores cantidades. Así, el retraso asociado a las brechas equivale a más de dos cursos y medio en Matemáticas; a cerca de dos cursos en Lectura; y a algo más de un curso y medio en Ciencias.

La Figura 2 aporta un nuevo elemento de significado, al comparar las brechas españolas con las de otros países europeos cuyas regiones han participado en PISA 2022 en condiciones similares.

 Figura 2. Comparación de brechas territoriales de puntuaciones PISA 2022 entre países europeos

Fuente: Elaboración propia a partir de PISA 2022 RESULTS (VOLUME I, Annex B2) © OECD 2023.

El análisis de la Figura 2 revela que la brecha territorial en Matemáticas prácticamente duplica la que corresponde al Reino Unido o a Bélgica, y sextuplica la de Italia. Aun cuando en las otras dos áreas de conocimiento las desproporciones no son tan exageradas, España se sitúa sistemáticamente en la primera posición de la comparación.

En este mismo orden de ideas, resulta de interés analizar cómo han evolucionado esas brechas territoriales entre PISA 2015 y PISA 2022. La elección de esas dos fechas viene justificada por el hecho de que la edición de 2018 fue anómala para España, y aun cuando en su día la OCDE hizo una “compostura” a posteriori en los resultados correspondientes, lo cierto es que sus datos no son incorporados a la serie cronológica que presenta PISA 2022 para España en las notas descriptivas de cada país. Por otra parte, es sabido que el análisis de los cambios, por lo general lentos, que acontecen en los sistemas educativos es más fiable si el periodo de comparación se aproxima a un decenio.

La Figura 3 recoge, en síntesis, todas las cifras que son relevantes al respecto y que muestran la evolución de las brechas de las puntuaciones PISA entre 2015 y 2022, así como su origen. En ella se advierte cómo las brechas se han reducido, presentando por tanto un lento pero consistente fenómeno de convergencia territorial. A la luz de esas cifras se advierte, no obstante, que esa convergencia se debe al hecho de que la disminución de las puntuaciones PISA haya afectado más ‒en términos tanto absolutos como relativos‒ a las comunidades con mejor rendimiento que a las comunidades con peor, lo que se traducido obviamente en una reducción de la distancia entre ellas. Se trata, por tanto, de una reducción asociada a un empeoramiento y no a una mejora.

Figura 3. Evolución de las brechas de puntuaciones PISA entre 2015 y 2022

Fuente: Elaboración propia a partir de PISA 2022 RESULTS (VOLUME I, Annex B2) © OECD 2023 y de PISA 2015 RESULTS (VOLUME I, Annex B2) © OECD 2016.

Tanto metaanálisis previos (8) como la propia interpretación de la OCDE (9) han permitido atribuir, al menos en parte, esa pérdida de puntos PISA entre las dos ediciones consideradas ‒observada en la mayor parte de los países analizados‒ a los efectos de las alteraciones en los procesos de enseñanza y de aprendizaje generadas por la respuesta de los sistemas escolares a la pandemia del COVID-19. En el caso que nos ocupa, dichas alteraciones podrían haber afectado, en mayor medida, a los comportamientos de alto rendimiento que a los de bajo. Aunque se trata de una hipótesis que precisa de más análisis, de confirmarse sería un fenómeno que aludiría a que los procesos cognitivos de orden superior requieren para su éxito, en mayor medida y a igualdad de todo lo demás, de una enseñanza normalizada que se plantee objetivos más exigentes que los de la mera supervivencia y que cuente con el apoyo personal imprescindible del profesorado. Otra segunda hipótesis explicativa más sencilla consiste en suponer que las Comunidades Autónomas de menor rendimiento han respondido mejor a los desafíos de la pandemia que los de mayor. En lo que concierne, pues, a la relativamente positiva evolución de las brechas territoriales habrá que esperar a la siguiente edición de PISA y confiar en que estemos exentos, en este próximo periodo, de una interferencia de similar calibre en el funcionamiento de los sistemas escolares.

El Índice Socioeconómico y Cultural (ISEC) empleado en PISA es calculado por la organización a partir de los cuestionarios dirigidos a los alumnos y utilizado para, cruzándolo con variables de rendimiento, efectuar inferencias principalmente sobre los niveles de equidad de los sistemas educativos. Los análisis de regresión lineal, efectuados por la OCDE de un modo sistemático para medir la asociación entre el nivel socioeconómico y rendimiento escolar, producen dos parámetros de interés: el primero es la intensidad de la asociación, el segundo es el impacto. Como es sabido, el primero mide la fuerza de la relación estadística entre ambas variables, el porcentaje de la varianza del rendimiento explicada por la variable ISEC, o, si se quiere, el valor predictivo que tiene el ISEC sobre el rendimiento escolar. El segundo viene definido por la magnitud de la pendiente de la recta que mejor se ajusta a la correspondiente distribución de puntos sobre un diagrama cartesiano, de modo que cuanto mayor sea esa pendiente mayor será la diferencia de puntuaciones por unidad de índice socioeconómico y cultural (ISEC).

La Figura 4 sintetiza toda la información cuantitativa disponible al respecto para las Comunidades Autónomas españolas, información que hemos tratado para esta ocasión en términos de brechas. Por su carácter más intuitivo, centraremos la atención en lo que sigue sobre el parámetro del impacto. Se advierte, en este caso, una brecha homogénea e igual a 14 puntos para cada una de las tres áreas de conocimiento consideradas. Eso significa, en términos relativos, cerca de la mitad de la media de los valores correspondientes a dicho impacto para cada área, y refleja, por tanto, notables diferencias de equidad interna entre las regiones extremas de la escala. Consiguientemente, revela importantes déficits de nuestro sistema educativo en la materialización del principio de igualdad efectiva de oportunidades entre Comunidades Autónomas.

Aun cuando el principio de igualdad de resultados haya sido abandonado, incluso por destacados representantes de la filosofía política, comprometidos con la defensa del estado de bienestar ‒los llamados postwelfaristas‒, las brechas en cuanto al impacto del ISEC en el rendimiento que hemos calculado más arriba constituyen una amenaza a la igualdad real de oportunidades, toda vez que, lo que vienen a decirnos, es que alumnos con igual nivel socioeconómico obtienen resultados significativamente diferentes en función de la región en la que habiten. Estas evidencias vienen a recordarnos la importancia de las políticas de Estado, tendentes a atenuar esas desigualdades territoriales en materia de equidad, que se manifiestan no solo en las puntuaciones obtenidas en PISA 2022 ‒relacionadas claramente con la calidad de la educación y con sus consecuencias posteriores en la vida adulta‒, sino, además, con la igualdad efectiva de oportunidades en todo el territorio nacional.

 Figura 4. Brechas en Intensidad e Impacto del nivel socioeconómico y cultural (ISEC) sobre el rendimiento en Matemáticas, Ciencias y Lengua. PISA 2022

Fuente: Elaboración propia a partir de PISA 2022 RESULTS (VOLUME I, Annex B2) © OECD 2023.

La muy notable caída experimentada por Cataluña en esta edición de PISA ha suscitado comentarios exculpatorios por parte de sus responsables políticos, atribuyendo la caída al efecto de la inmigración. Este argumento no solo da la espalda al compromiso con el ideal de la igualdad efectiva de oportunidades para todos los ciudadanos que habiten en Cataluña, sino que además resulta incompatible con las evidencias.

La Figura 5 muestra un análisis de regresión lineal, puntuación en Matemáticas vs. porcentaje de alumnos inmigrantes, entre Comunidades Autónomas. El resultado es que la intensidad de la relación es nula, como lo indica el valor del coeficiente de determinación R² y queda reflejado en la notable dispersión de la nube de puntos. Comunidades Autónomas con elevados porcentajes de inmigrantes, como Navarra, Madrid o La Rioja, son capaces de obtener buenos resultados en Matemáticas, y Comunidades Autónomas con relativamente bajos porcentajes de inmigrantes, como Extremadura, Andalucía o Canarias, no lo son.

Figura 5. Un análisis de regresión lineal puntuación en matemáticas vs. porcentaje de inmigrantes entre Comunidades Autónomas. PISA 2022

Fuente: Elaboración propia a partir de PISA 2022 RESULTS (VOLUME I, Annex B2) © OECD 2023.

 Algunos medios han invocado, de forma intuitiva, la posibilidad de que los procesos totales y monolingües de normalización lingüística desarrollados en Cataluña estuvieran detrás de esta caída, sin precedentes, de su nivel de rendimiento. Y lo cierto es que, cuando se procede a un primer análisis cuantitativo de los datos, lo que se obtiene es compatible con esa conjetura. La Figura 6 muestra los porcentajes de estudiantes que hablan principalmente otro idioma en casa diferente al utilizado en la enseñanza, por comunidades autónomas y desagregados por inmigrantes y nativos. Cataluña aparece en la primera posición, destacando en el ranking por efecto probable de su política lingüística en el ámbito escolar, política que afecta a todos y especialmente a los inmigrantes.

Este factor singular -la política concreta de normalización lingüística-, más que el porcentaje de inmigrantes en sí mismo, podría ser relevante a la hora de explicar el fenómeno catalán. No obstante, investigaciones más completas serían necesarias para, sobre la base de evidencias empíricas, confirmar o descartar esas hipótesis.

 Figura 6. Porcentajes de estudiantes que hablan principalmente otro idioma en casa diferente al utilizado en la enseñanza, por comunidades autónomas. PISA 2022

Fuente: Elaboración propia a partir de PISA 2022 RESULTS (VOLUME I, Annex B2) © OECD 2023.

Notas: 

(1) López Rupérez, F. (2018). Un modelo integrado de evaluación para el sistema educativo español. Madrid: Universidad Camilo José Cela.  https://www.ucjc.edu/pdfs/universidad/evaluacion_FLR_UCJC_2.pdf.

(2) López Rupérez, F.; García García, I.; Expósito Casas, E. (2018). PISA 2015 y las Comunidades Autónomas españolas. Diagnósticos empíricos y políticas de mejora. Madrid: Universidad Camilo José Cela, https://www.ucjc.edu/pdfs/universidad/pisa2015_ccaa.pdf.

(3) López Rupérez, F. y García García, I. (2020). A vueltas con la equidad en educación. Una aproximación empírica en la perspectiva de las consecuencias. Madrid: Universidad Camilo José Cela, https://www.ucjc.edu/pdfs/universidad/equidad_web.pdf.

(4) López Rupérez, F.; García García, I. (2021). El profesorado de educación secundaria a la luz de PISA 2018. Implicaciones para la política educativa española. Madrid: Universidad Camilo José Cela, https://www.ucjc.edu/pdfs/universidad/profesorado_pisa_2018.pdf.

(5) López Rupérez, F.; García García, I.; Expósito Casas, E. (2018). Educational Effectiveness, Efficiency, and Equity in Spanish Regions: What Does PISA 2015 Reveal? Orbis Scholae, 12 (2), pp. 9−36. https://ucjc.edu/pdfs/universidad/OrbisScholae_2_2018.pdf.

(6) López Rupérez, F.; Expósito Casas, E.; García García, I. (2018). Igualdad de oportunidades e inclusión educativa en España. Equality of opportunities and educational inclusion in Spain. RELIEVE, 25(2), art. 1. https://doi.org/10.7203/relieve.25.2.14351.

(7) López Rupérez, F. y García García, I. (2020). España vs. Portugal en educación. Una aproximación sistémica. Revista Iberoamericana de Educación (OEI), vol. 84, núm. 1, pp. 193-215. https://doi.org/10.35362/rie8414042.

(8) Sanz, I. y Tena, J.D. (2023) The Impact of the COVID-19 Pandemic on Education Learning. https://doi.org/10.1007/978-3-031-45802-6_2.

(9) OECD (2023). PISA 2022 Results (Volume I): The State of Learning and Equity in Education, PISA, OECD Publishing, Paris, https://doi.org/10.1787/53f23881-en.