Según el análisis de los datos obtenidos por MAGISTERIO de los 50 centros valencianos evaluados por el Instituto de Evaluación ... [ver P. S.]
Los datos de la EGD-2009 no son públicos. Las personas interesadas en la evaluación educativa tenemos que hacer un acto de fe en que han sido analizados correctamente y no podemos plantearnos preguntas adicionales a las que se plantean desde el Instituto de Evaluación.
¿Han sido analizados correctamente?
Sabemos que hay análisis incorrectos. Por ejemplo, no se realizan comparaciones múltiples de medias, sino comparaciones dos a dos, disparando el riesgo de cometer errores. Incluso esas comparaciones a pares están mal hechas. Igualmente, sabemos que el modelo de Rasch es erróneo cuando un grupo de ítems comparten un enunciado. En ese caso, se incumple el supuesto de independiencia local y es necesario modelar la correlación entre especificidades de los items con un
parámetro adicional. En este caso el coeficiente alfa de Cronbach es un indicador inadecuado de la fiabilidad de la escala.
En otros temas, nos quedan dudas. Para una parte importante de los resultados presentados, desconocemos las técnicas estadísticas empleadas. El campo de la medición en educación no es estático. No se ha llegado al punto de que haya unos pocos métodos conocidos y reconocidos como los mejores y los que siempre hay que aplicar. Hay varias revistas especializadas:
Applied Measurement in Education,
Applied Psychological Measurement,
Educational and Psychological Measurement,
Journal of Educational and Behavioral Statistics,
Journal of Educational Measurement. Sólo una información detallada del método de análisis permite evaluar si se han incorporado las métodos que han demostrado mejor funcionamiento. Uno no puede despacharse el tema de funcionamiento diferencial diciendo "el procedimiento empleado fue la comparación del parámetro de dificultad de los ítems dentro de los grupos de contraste" (pág. 36). ¿Método de Raju o de Thissen? ¿Sólo se tuvo en cuenta la significación estadística o también el tamaño del efecto?
Respecto al funcionamiento diferencial de los items, sorprenden enormemente comentarios como éste: "Los resultados del País Vasco en la competencia en el conocimiento y la interacción con el mundo físico no aparecen dentro del gráfico por un funcionamiento diferencial en los ítems de la versión euskera" (pág. 66). En los informes internacionales, como el PISA, se consigue comparar a multitud de países, muchos de ellos con disparidad lingüística igual o mayor a la que puede encontrarse entre el español y el vasco. ¿Cómo es posible que el Instituto de Evaluación haya fallado en esto? No sabemos si fallan todos los ítems, en qué medida lo hacen, si se salvan algunas preguntas que pudieran permitir establecer una métrica común...
¿Preguntas adicionales?Y aquí el origen de esta anotación. Son muchos/varios/algunos los investigadores que desearían realizar una explotación de los datos buscando respuestas a nuevas preguntas o intentando comprobar que las respuestas previas están bien fundamentadas. Pero sólo algunos podrán.
Ahora vendrá el bonito de juego de "yo conozco a...", "a ti te paso la base de datos porque sé que tus preguntas van a llevarte las respuestas que yo quiero" o "¿qué me das a cambio de...?". Ésta es la idea de transparencia, de fomento de la investigación o de políticas sociales basadas en pruebas que tienen nuestros políticos y gestores.
No hacer públicos los datos me parece una tomadura de pelo. Que ya empiece a haber reanálisis de gente a la que sí que le han pasado los datos me parece otra tomadura de pelo.
P. S. (23/06 - 18:40). Mis disculpas a Pablo Rovira, el periodista autor de la noticia de Magisterio. He tenido muy poco tacto al titular esta entrada, de tal modo que puede entenderse que acuso al Sr. Rovira de 'malas artes' o de servilismo para conseguir los datos. Jamás fue mi intención.
Quería criticar que, al no publicar los datos, se abren unos (posibles) modos pocos claros para hacerse con ellos. No critico a quienes los consigan, sino a quienes los tienen y no los distribuyen. Obviamente, la labor de un periodista implicado con su profesión es intentar obtenerlos y no tengo razón para cuestionar el modo como ha llegado a ellos el Sr. Rovira.