Avisos para no quedar en evidencia comentando PISA - leído en la prensa

Publicado en El País (03/12/07). Incluyo al final algunas anotaciones.

Avisos para no quedar en evidencia comentando PISA
Julio Carabaña
Catedrático de Sociología de la Educación en la Universidad Complutense

Realizado durante el año 2006, el tercer estudio PISA permite comparar los aprendizajes en Ciencias Naturales de los alumnos de 57 países, todos los de la OCDE más otros muchos, tan dispares como Rusia, Chile, Tailandia o Kirguistán. En los dos estudios anteriores, la publicación de los resultados suscitó gran variedad de comentarios y tomas de posición. Por desgracia, muchos fueron simplemente apresurados y poco informados, si no, además, interesados y partidistas. Estos defectos, que en los dos primeros informes pudieron pasar sin grave quebranto para el prestigio y la credibilidad de sus autores, tendrían más difícil disculpa si se repitieran a propósito del tercero, aunque solo fuera por lo mucho que puede aprenderse con el estudio de sus predecesores. A evitar tan indeseable reiteración de errores están dirigidos estos avisos, que pretenden ser útiles tanto a autores como a lectores.

Aviso 1. La puntuación media de los países de la OCDE en PISA se establece por definición en 500, y la desviación típica en 100. Con esa métrica, diferencias de 10 y hasta 20 puntos son diferencias pequeñas. Además, el tamaño de las muestras es tal que las diferencias menores de cinco puntos pueden deberse a errores aleatorios. Por último, conviene tener en cuenta que la puntuación media de los alumnos de la OCDE no es de 500, sino de 491.

Se avisa de evitar, por tanto, expresiones como "España a la cola", "el sistema español, un desastre" y otras semejantes que se usaron harto a la ligera cuando los informes anteriores. Si los resultados españoles están a 12 puntos de la media de los países y a tres puntos de la media de los alumnos, lo prudente es decir que estamos al nivel medio de la OCDE. Y también al de países con cuya compañía ni soñamos en otros ámbitos, como Estados Unidos, Francia, Suecia, Dinamarca, Noruega o Luxemburgo¹.

Huelgan, por tanto, las recetas para salvar al sistema educativo español de ningún desastre, porque el nivel de España ni es ni ha sido desastroso, sino bueno. Si se proponen remedios, conviene cuidar que sean de los que perfeccionan lo que ya está bien, no de los que mejoran lo que está muy mal.

Aviso 2. Las puntuaciones de los países en las pruebas PISA son muy estables. La mayor parte de los países repitieron puntuaciones en el año 2003 y parece que en 2006 (las variaciones de hasta cinco puntos son atribuibles al error de vínculo²). Algunos países han subido o bajado unos 10 puntos, pero otros han bajado. Sólo tres o cuatro variaron más de 15 puntos, arriba unos y abajo otros³. La misma estabilidad que los países muestran las regiones (más grandes algunas que algunos países).

Tengan pues muy presente quienes se duelan del estancamiento de España que repetir es la norma; y quienes se tomen la libertad de proponer fórmulas de mejora, mejor las envuelvan en siquiera un somero informe sobre si han sido ensayadas por los pocos países o regiones que han mejorado, por los pocos países o regiones que han empeorado o, lo que es más probable, por aquellos países (o regiones) que no han registrado variación. No vale, desde luego, proponer la fórmula finlandesa, sin aclarar cuál es y explicar por qué nadie más la aplica.

Aviso 3. Lo que los alumnos aprenden tiene poca o nula relación con el gasto en enseñanza. Esta es una de las proposiciones más y mejor confirmadas por los estudios de Economía y Sociología de la Educación desde su formulación en 1966 por el Informe Coleman. Es también uno de los hallazgos menos discutibles de los dos estudios PISA, el de 2000 y el de 2003 (ver figura 2.20, p. 102 de la edición Santillana). Así, España tiene resultados iguales a los de Estados Unidos, y algo mejores que Italia, países que gastan dos veces más que nosotros por alumno.

Cuidado, pues, con proponer gastar más para mejorar los resultados. Podría parecer que no hemos leído los anteriores informes PISA, o que no los hemos entendido, o que nos dan lo mismo. Quien proponga gastar más en España, que diga el uso que se debe dar al dinero y demuestre su eficacia. No vaya a ser que doblemos el gasto por alumno y nos quedemos donde Italia o los Estados Unidos (es decir, donde estamos; cosa que, por cierto, quizás hemos hecho ya dos veces en los últimos cuarenta años). Igualmente, quien proponga gastar más a las comunidades autónomas debería asegurarse de que su inversión va a resultar al menos algo más eficaz que la vasca.

Aviso 4. Los resultados de PISA no tienen relación con la organización de los sistemas educativos. Tampoco tienen relación con los cambios legislativos. En los últimos años muchos países han promulgado leyes cambiando la ordenación de sus sistemas educativos para descentralizar (España, Argentina, Brasil, México), centralizar (Inglaterra, Estados Unidos), diversificar (los antiguos países socialistas), o simplemente cambiar. En general, las evaluaciones realizadas no registran huella alguna de estos cambios en los resultados de los alumnos.

Se advierte, pues, contra la tendencia a atribuir culpa o mérito a las leyes de ordenación educativa, LOE, LOCE o LOGSE, ésta en particular, porque hayan descentralizado, diversificado o unificado o simplemente cambiado el sistema. No tiene base que la sustente. Más peligroso aún sería que alguien exhumara las dos evaluaciones oficiales de la pasada Reforma de las Enseñanzas Medias, ninguna de las cuales pudo otorgar ventaja ni desventaja a la Reforma ni a lo reformado.

Aviso 5. Los resultados PISA no dependen del color o la tendencia de los partidos políticos en el poder, y menos del partido en el poder cuando los resultados se publican. Conviene recordar, en todo caso, que todos hemos mandado durante los 10 años que los alumnos de 15 llevan en la escuela, pero el PP un poco más. En el año 2000, los alumnos de 15 años habían estudiado seis años con el PSOE y cuatro con el PP. En el año 2003 habían estudiado con el PP los últimos siete años y con el PSOE solo los 3 primeros; y en 2006, los ministros han sido del PSOE los dos últimos años y del PP los ocho anteriores.

Y, si nos vamos de los ministros a los consejeros, en Castilla-León ha gobernado el PP, igual que en Valencia, Murcia y (casi) Baleares, que deben de estar por debajo de la media; en Andalucía el PSOE, igual que en Asturias y a Aragón, y en Cataluña o el País Vasco gobiernos nacionalistas, como en Canarias. En general, se advierte contra el uso de los resultados de PISA como arma electoral a quienes tengan escrúpulos, incluso pocos, ante la demagogia.

Aviso 6. No caer en la desesperación tras los avisos anteriores. Hay muchas cosas cuya ineficacia no está aún totalmente demostrada, como ver menos televisión, pasar más tiempo con los padres, dar más prestigio a los profesores, aumentar la popularidad de los empollones o instruir deleitando. Y aunque no haya fórmulas simples y generales para alcanzar a Finlandia, siempre podemos hacer mejor lo que ya estamos haciendo.

¹ Carabaña pasa por encima de que países como Turquía (media de 424 en PISA Ciencias 2006) o México (media de 410 en PISA Ciencias 2006) son miembros de la OCDE. Si la media de la OCDE está en 500 es porque algunos países de nivel socio-cultural y económico claramente inferior al de España bajan esa media. Por tanto, no es para nada disparatado decir que España está por debajo de los países con los que sería sensato compararse.

² El error de vínculo es el error que surge por poner en la misma escala puntuaciones extraídas tras la administración de tests parcialmente distintos en los distintos años. De año en año se mantienen unas cuentas preguntas comunes (los ítems de anclaje), que son los que permiten poner en la misma métrica a las preguntas nuevas de cada edición del PISA. El posible error de medida de los items de anclaje se traduce también en posible error de los nuevos items y, por tanto, de la escala total: error de vínculo.

³ La OCDE expone, como una de las conclusiones principales de los tres informes, que "el informe PISA de la OCDE muestra que algunos países consiguen incrementos significativos en logros del aprendizaje". Para Carabaña parece ser motivo de tranquilidad el que España sea tan incapaz como la mayor parte de los países de mejorar los resultados.

Por otro lado, la estabilidad de las puntuaciones y la similaridad del diseño del Informe PISA permitiría agregar resultados, reduciendo así el error típico de medida (mayor muestra por puntación al combinar). Si un país X tiene menor puntuación que un país Y en el 2000, en el 2003 y en el 2006, y no es descartable que esa diferencia sea debida únicamente al error de muestreo en ninguno de los años (no es estadísticamente significativa), es posible que al combinar los resultados para esos tres años las diferencias sí que sean estadísticamente significativas.