Conocimientos para pruebas

Como veíamos en la entrada de ayer, para la Comunidad de Madrid todo lo que rodea la prueba de nivel de sexto de Primaria es un éxito. Un éxito la idea de hacerla, un éxito los resultados, un éxito las medidas tomadas a raíz de la prueba del año pasado... Por desgracia, los datos que han ofrecido para apoyar estas afirmaciones son más bien pobres. Pecan los datos y el diseño de la prueba de defectos técnicos importantes. Me centraré en los problemas para la comparación entre grupos.

Los resultados medios de este año son francamente mejores que los resultados del curso pasado. Dos son las posibles razones para explicar esto. Una, que los alumnos del 2006 sean más capaces que los del 2005. Dos, que el examen de este año sea más fácil que el del curso pasado. ¿Cómo saber cuál de las dos opciones es la correcta?

El modo más sencillo de responder a esta pregunta es repitiendo preguntas de examen a examen. No tienen por qué ser todas, con una pequeña parte es suficiente. Esto es lo que hacen los estudios de evaluación educativa rigurosos (tipo TIMMS, PISA, etc). Estos estudios hacen pública sólo una parte de las preguntas que han administrado a los chavales. La parte que no facilitan es la que repetirán, una vez comprobado que las preguntas eran buenas, en próximas evaluaciones.

Comparando los resultados de ese grupo de preguntas administradas en las dos ocasiones, podemos ver si los chavales de un año y otro son iguales en la habilidad que medimos o no. Si se hace bien, este pequeño número de preguntas compartidas de examen a examen nos permite mantener la escala de medida constante entre años. De este modo, hablar de 'mayor', 'menor', 'mejor' o 'peor' tiene sentido.

Las preguntas que han contestado los alumnos de sexto este mayo son completamente distintas de las que respondieron sus compañeros un año mayores el curso pasado. No podemos utilizar este recurso del que hablábamos. Cuando se acaba la técnica, empieza el cálculo 'a ojo'. Y eso lo dejo para ustedes. Comparen el bloque de preguntas A con el bloque B, tomados de la parte de Cultura General de la prueba, y digan cuál creen que es más sencillo:

Bloque A:

• ¿Qué es un velero?
• ¿Cómo se llama el océano situado entre Europa y América?
• Indica el nombre del continente en el que se encuentran Marruecos, Italia, China y Ecuador.
• Ordena cronológicamente los siguientes hechos históricos: Segunda Guerra Mundial, descubrimiento de América y nacimiento de Julio Verne.

Bloque B:

• ¿En qué continente está Austria?
• Nombra tres instrumentos musicales distintos del piano y del clavicordio.
• ¿Cómo se llama la cordillera que separa España de Francia?
• Une mediante una flecha el nombre de los animales con la clase zoológica a la que pertenece: gallina, lagarto, gato, sardina y pez, mamífero, reptil, ave.
  

A mí, con la subjetividad que llega aparejado el cálculo del 'porque yo lo valgo', me parece claro que el bloque B es más sencillo. Y el bloque B es que han respondido este año. ¿Sorprende, pues, que los alumnos hayan obtenido mejores puntuaciones este curso? ¿Hay motivos que sostengan la alegría de Esperanza Aguirre y de la Consejería de Educación? Yo creo que no. Por desgracia, me tengo que quedar en el terreno de las creencias. Pasar más allá es imposible, porque el diseño de la prueba impide toda comparación mínimamente rigurosa. Lástima de tiempo y de dinero invertido. Lástima de oportunidad para la evaluación seria desaprovechada.