sábado, septiembre 02, 2006

Acertijo metodológico - ficción didáctica

Soy psicólogo. Al menos, eso dice un titulito que tengo por ahí guardado. Como tal, viendo el nivel de matemáticas que tienen los chavales del colegio de mi barrio, he decidido realizar un programa de mejora de su aprendizaje. Me he puesto en contacto con expertos en el campo, tanto en la parte de contenidos, como en la parte didáctica, y he elaborado un método que tiene buena pinta.

Los chavales destinatarios son los de 3 de Primaria. Lo primero que hago es evaluar sus conocimientos de matemáticas, al comienzo del curso, con una prueba desarrollada para tal fin. Los especialistas están de acuerdo en que la prueba mide lo que tendría que medir. Evaluamos matemáticas según lo que marcan los objetivos didácticos. Mediante una combinación de preguntas abiertas y preguntas de elección múltiple (tipo test), asegurando que la corrección se hace de un modo fiable, veo que, en promedio, la clase saca un 4 sobre diez en mi prueba.

Aplico mi programa. Puesto que el interés es que el profesor de los alumnos sea capaz de repetirlo más adelante, es él quien lo aplica en este momento. Me he pasado varias semanas enseñándole en qué consiste. Así que, más bien, podría decir que él aplica mi programa. Son tres meses de métodos y actividades que rezuman psicología escolar por los cuatro costados.

Para ver si mi programa es eficaz, evalúo de nuevo a los alumnos. El nuevo examen cumple todas y cada una de las garantías métricas necesarias y me permite comparar los resultados de ambas pruebas. Todo según manual. Ahora encuentro que los chicos y chicas de la clase obtienen un 7 sobre 10 en mi examen.

¿Puedo decir que mi programa es eficaz? No, me temo que no. Ese incremento de tres puntos, si bien estadísticamente significativo (no atribuible al 100% al azar), bien puede deberse a un proceso de maduración natural de los chavales. Un chico en septiembre y ese mismo en diciembre no son iguales. En esas edades, tres meses es mucho tiempo. Lo mismo no haciendo nada y dejando que la biología actuase habría encontrado los mismos resultados. O, tal vez, no es tanto la biología como que los alumnos, a principio de curso, tienen la neurona medio oxidada, mientras que en diciembre ya están más a tono. O... quién sabe. En todo caso, no puedo sacar conclusión alguna. Lo mismo los alumnos habrían sacado el mismo resultado sin programa ni intervención alguna.

¿Qué hacer en este caso? Cogerme otro grupo de alumnos, equivalentes en todo a los primeros, salvo en que a estos no se les aplicará mi programa. Mi interés es ver si, tras comprobar que ambos grupos son iguales antes del tratamiento, los dos grupos siguen siendo iguales en matemáticas, uno con tratamiento y el otro sin. Buscaría otro grupo que también empezara el curso con un nivel de 4 y miraría si, tras tres meses de docencia tradicional, su nivel es inferior o no a 7.

Si en lugar de trabajar con chavales de colegio trabajara con ratas todo sería más fácil. Dejaba que fuera el azar quien tomara la decisión de qué persona corresponde a qué grupo y ya está. Con un número suficientemente amplío, puedo estar casi seguro de que los dos grupos de ratas serían iguales. Pero no es lo mismo con chicos. La clase 3ºA y la clase 3ºB pueden ser bien distintas. No se generan a principio de curso lanzando al aire los nombres de los niños y niñas y dejando que la casualidad coloque a cada en una u otra. Lo mismo la clase de 3ºB tuvo, el curso anterior, un profesor nefasto de matemáticas, lo que haría que los dos grupos no fueran iguales y haría más difícil la comparación. Esto es lo que diferencia la experimentación de la cuasi-experimentación.

Tirando de controles, diseño de investigaciones, estadística y parafernalia varia, y al comienzo de otro curso (perdí el primero por hacer mal las cosas) ya he encontrado dos grupos equivalentes. Casi podría decir que tengo dos clases clónicas. En una aplico mi programa; en la otra, no. Ya tengo garantizado que todo es igual, menos mi programa. Aceptemos que es así y veamos los datos.

La clase que ha recibido la intervención ha pasado de un 3,5 a un 7,2. Los datos no son exactamente iguales que los del año pasado por simple efecto del azar. (Cuando mide dos veces la misma cosa, aunque esa cosa se mantenga constante, es probable que no obtenga el mismo valor). La clase que ha tenido clase como siempre pasa de un 3,5 a un 5,8. Efectuamos los análisis de datos oportunos y comprobamos que hay diferencias estadísticamente significativas en favor de nuestro grupo. Efectivamente, ha mejorado su nivel de matemáticas más de lo que lo ha hecho el otro grupo.

¿Puedo decir que mi programa es positivo y que sería oportuno que se generalizase a todos los colegios? Acepten que, aún en no lo descrito en el texto, todo lo relacionado con la validez y fiabilidad del estudio está más que garantizado y bien hecho. Poniéndolo claro: sí, mi programa mejora el rendimiento en matemáticas.

Espero que se animen y dejen sus respuestas en los comentarios.

7 comentarios:

  1. En principio, lo de generalizar algo así habría de hacerse "experimentalmente", es decir, poco a poco. Lo que ha funcionado para tus dos clases no tiene por qué funcionar en cualquier contexto (ambiente, nivel social de alumnos, tipo de profesorado, etc.). Ahora bien, que haya funcionado es un plus a favor de que otros centros "jueguen" con él a ver qué pasa. Al menos se ha comprobado que funciona en alguna ocasión. El problema es que siguen aplicando métodos nunca validados--o, peor aún, invalidados.

    ResponderEliminar
  2. De acuerdo con wonka, para convencer hay que presentar bastantes más casos de forma que el trabajo no sea fácilmente criticado. Aparte de esto, yo tengo curiosidad por saber más sobre los tamaños de muestra (número de alumnos) y las pruebas estadísticas usadas.
    Saludos y ánimo con ello

    ResponderEliminar
  3. Bien visto. Este diseño no garantiza ni que profesor ni que alumnos sean representativos de la población general. Lo mismo mi programa es bueno para ese tipo de profesor en concreto o para ese tipo de alumnado, mientras que podría ser nocivo o trivial para otras condiciones. La asignación aleatoria no garantiza la representatividad.

    Por eso, ahora he ampliado mi estudio. He cogido a técnicos del Ministerio de Educación y, con sus datos, he realizado un nueva recogida de datos, garantizando que evalúo una variedad suficiente y representativa de clases. Me he pasado por 300 colegios de España, controlando ámbito geográfico, estatus económico... todo lo que a uno buenamente se le pueda ocurrir. Tengo 6000 niños en una condición (con programa) y 6000 niños en la otra.

    Mis resultados siguen siendo los mismos. Con mi método aprenden más matemáticas. ¿Debería, por esto, considerar que hay que extender mi método a todos los colegios?

    ResponderEliminar
  4. Más allá de las precauciones en el diseño del experimento, creo que el quid está en dar por hecho que el resultado del test equivale a "saber matemáticas" pues hay una posibilidad de que tu método los haya preparado mejor para afrontar pruebas de evaluación.

    Un ejemplo: Los métodos habitualmente empleados por los profesores de autoescuela... ¿te enseñan a conducir? ¿o te preparan para superar el examen práctico?.

    ResponderEliminar
  5. Lo pones muy difícil. Habría que conocer otras cosas. Una no baladí es: ¿cuánto cuesta tu nuevo método? Otra: ¿cualquier profesor va a ser capaz de implementarlo? Más: ¿cuáles son las necesidades específicas de cada centro? A lo mejor en algunos, el nivel de Matemáticas ya es suficientemente bueno, y necesitan orientar sus recursos, qué se yo, a los conocimientos históricos y geográficos, o al deporte. En fin, se me ocurren preguntas de este estilo.

    ResponderEliminar
  6. No. Creo que con la Logse ya hemos nos hemos espantado de las generalizaciones.

    Si demuestra resultados, debe tener apoyo para difundir el método, perfeccionarlo y seguir investigando. Dar oportunidad para que lo conozcan los alumnos de Magisterio, explicarse ewn revistas especializadas...

    Y, después, medir, medir y medir. Y publicar resultados. Y hacer algo con los que no cumplen cierto nivel, sobre todo por métodos trasnochados de enseñanza.

    ResponderEliminar
  7. Por curiosidad y para que un zote como yo lo entienda, ¿en qué consiste básicamente el método? (¿o es como la fórmula de la Coca Cola y no se puede decir?)

    ResponderEliminar