Según el análisis de los datos obtenidos por MAGISTERIO de los 50 centros valencianos evaluados por el Instituto de Evaluación ... [ver P. S.]Los datos de la EGD-2009 no son públicos. Las personas interesadas en la evaluación educativa tenemos que hacer un acto de fe en que han sido analizados correctamente y no podemos plantearnos preguntas adicionales a las que se plantean desde el Instituto de Evaluación.
¿Han sido analizados correctamente?
Sabemos que hay análisis incorrectos. Por ejemplo, no se realizan comparaciones múltiples de medias, sino comparaciones dos a dos, disparando el riesgo de cometer errores. Incluso esas comparaciones a pares están mal hechas. Igualmente, sabemos que el modelo de Rasch es erróneo cuando un grupo de ítems comparten un enunciado. En ese caso, se incumple el supuesto de independiencia local y es necesario modelar la correlación entre especificidades de los items con un parámetro adicional. En este caso el coeficiente alfa de Cronbach es un indicador inadecuado de la fiabilidad de la escala.
En otros temas, nos quedan dudas. Para una parte importante de los resultados presentados, desconocemos las técnicas estadísticas empleadas. El campo de la medición en educación no es estático. No se ha llegado al punto de que haya unos pocos métodos conocidos y reconocidos como los mejores y los que siempre hay que aplicar. Hay varias revistas especializadas: Applied Measurement in Education, Applied Psychological Measurement, Educational and Psychological Measurement, Journal of Educational and Behavioral Statistics, Journal of Educational Measurement. Sólo una información detallada del método de análisis permite evaluar si se han incorporado las métodos que han demostrado mejor funcionamiento. Uno no puede despacharse el tema de funcionamiento diferencial diciendo "el procedimiento empleado fue la comparación del parámetro de dificultad de los ítems dentro de los grupos de contraste" (pág. 36). ¿Método de Raju o de Thissen? ¿Sólo se tuvo en cuenta la significación estadística o también el tamaño del efecto?
Respecto al funcionamiento diferencial de los items, sorprenden enormemente comentarios como éste: "Los resultados del País Vasco en la competencia en el conocimiento y la interacción con el mundo físico no aparecen dentro del gráfico por un funcionamiento diferencial en los ítems de la versión euskera" (pág. 66). En los informes internacionales, como el PISA, se consigue comparar a multitud de países, muchos de ellos con disparidad lingüística igual o mayor a la que puede encontrarse entre el español y el vasco. ¿Cómo es posible que el Instituto de Evaluación haya fallado en esto? No sabemos si fallan todos los ítems, en qué medida lo hacen, si se salvan algunas preguntas que pudieran permitir establecer una métrica común...
¿Preguntas adicionales?
Y aquí el origen de esta anotación. Son muchos/varios/algunos los investigadores que desearían realizar una explotación de los datos buscando respuestas a nuevas preguntas o intentando comprobar que las respuestas previas están bien fundamentadas. Pero sólo algunos podrán.
Ahora vendrá el bonito de juego de "yo conozco a...", "a ti te paso la base de datos porque sé que tus preguntas van a llevarte las respuestas que yo quiero" o "¿qué me das a cambio de...?". Ésta es la idea de transparencia, de fomento de la investigación o de políticas sociales basadas en pruebas que tienen nuestros políticos y gestores.
No hacer públicos los datos me parece una tomadura de pelo. Que ya empiece a haber reanálisis de gente a la que sí que le han pasado los datos me parece otra tomadura de pelo.
P. S. (23/06 - 18:40). Mis disculpas a Pablo Rovira, el periodista autor de la noticia de Magisterio. He tenido muy poco tacto al titular esta entrada, de tal modo que puede entenderse que acuso al Sr. Rovira de 'malas artes' o de servilismo para conseguir los datos. Jamás fue mi intención.
Quería criticar que, al no publicar los datos, se abren unos (posibles) modos pocos claros para hacerse con ellos. No critico a quienes los consigan, sino a quienes los tienen y no los distribuyen. Obviamente, la labor de un periodista implicado con su profesión es intentar obtenerlos y no tengo razón para cuestionar el modo como ha llegado a ellos el Sr. Rovira.
Algún día tendré tiempo y podré escribir con más calma, de un modo más divulgativo. Espero.
ResponderEliminarYa he oído muchas críticas fundamentadas en el ámbito universitario sobre esta evaluación desde el punto de vista metodológico. Críticas que afectan a diversas partes de la misma. Pero muy pocos las publican: es muy sencillo enviar un artículo a un periódico. Pero pocos lo hacen, a pesar del favor que le harían a la educación española. Quizás callen por no meterse en líos, quizás porque esperan tener acceso a los datos... Creo que es una evaluación extremadamente criticable, como lo es la deriva ideológica del Instituto de Evaluación.
ResponderEliminarAl hilo de lo que dices, no sé si has leído el artículo de Víctor Pérez Díaz:
http://www.elimparcial.es/sociedad/investigacion-cientifica-y-guerra-de-guerrillas-66016.html
Te sonará a chiste, con tu experiencia como periodista, pero... ¿cómo se envía un artículo a un periódico?
ResponderEliminarImagino que, desde la Universidad:
a) no sabemos cómo contactar con los medios de comunicación;
b) sentimos que no les va a interesar, por ser demasiado técnico;
c) no es el estilo al que estamos acostumbrados, puesto que sabemos más de redacción técnica que de divulgación;
d) creemos que no es nuestra labor.
Todos puntos subsanables, pero que retienen.
Cuando se tiene el hábito de hacerlo, uno ya tiene contactos, por donde es más fácil. Pero en general existe en los periódicos una sección de opinión o, en el caso de una cuestión más concreta que afecta a la enseñanza, llamar al periódico y preguntar por el responsable de la sección. Evidentemente, hay que buscar el que, a priori, pueda tener más interés en publicarlo.
ResponderEliminarDesde luego, este sistema es más sencillo cuanto más alto estás en la escala: no enviarlo, por supuesto, sino que te hagan caso.
Así descrito, ¿realmente te sorprende que el profesorado no envíe comentarios a los periódicos?
ResponderEliminarCon respecto a los puntos que enumeras, evidentemente no puedes hablar del alfa de Cronbach como si tal cosa, pero explicando con claridad las cosas puedes permitirte un párrafo técnico que sólo entiendan algunos, dentro de una línea argumental clara y accesible. Respecto al estilo, se publican artículos de esos todos los días: uno se lee diez o doce y ya tiene cogida la técnica.
ResponderEliminarSobre que la labor de la Universidad no es servir a la sociedad, pues entonces no sé para qué la pagamos. Si una administración pública va contra lo que uno sabe y tiene autoridad y conocimientos para decirlo, callarse es convertirse en cómplice.
Con los puntos no pretendía justificar, sino explicar.
ResponderEliminarY añadiría un nuevo apartado: no se valora en el currículum.