El acoso y sus miserias

Para curarme en salud: criticar un informe sobre acoso escolar no es sinónimo a trivializar el problema. Muchos niños son infelices por lo que compañeros y profesores les hacen vivir en el colegio. Éste es un problema que merece atención por parte de todos quienes tienen responsabilidad en ese ámbito.

Dicho lo cual, en esta entrada pretendo apuntar algunos errores que limitan la consistencia de los resultados aportados por Iñaki Piñuel y Araceli Oñate sobre acoso escolar en España. Apunté que lo haría en una entrada de hace ya más de un mes, pero, entre unas cosas y otras, no he tenido tiempo. (Imagino que esta capacidad mía de ser un servicio de noticias con un mes de desfase no me llevará a los más alto de los ránkings mundiales de blogs).

El primer defecto es el del acceso a la información. Proclamar a los cuatro vientos que uno de cuatro alumnos sufre acoso escolar y no facilitarle a la gente el modo de ver si esa afirmación está bien sustentada por los datos me parece que no es de recibo. Yo tengo la suerte de que lo mejor de mi blog son los comentaristas y uno de ellos me hizo el favor de pasármelo. Pero, ¿y el resto de lectores críticos de periódicos? Que hagan un acto de fe.

El incremento de conocimiento se basa en compartir conocimiento. Uno hace algo; otros lo leen; a unos les gusta y extienden la idea, a otros les parece una mala idea y la critican. Así hemos conseguido lanzar cohetes al espacio y curar multitud de enfermedades. Cuando uno habla y no sustenta, mejor desconfiar.

El segundo defecto es la redacción del informe. No sé si habrá una versión más pulida del mismo, pero, con el que yo he podido leer, no se consigue garantizar una de las condiciones mínimas de un estudio científico: la replicabilidad. (Y aquí no uso ciencia como equivalente a 'aportación seria al conocimiento'). La replicabilidad se da cuando la redacción de un artículo permite que otros investigadores puedan repetir el mismo estudio que uno ha realizado. Esto supone que el autor del informe ha detallado el método de investigación de tal modo que cada una de las decisiones que uno tiene que tomar al hacer un estudio está claras. No deberían quedar dudas del tipo "¿y cómo hizo este hombre esto?".

Por desgracia, si a mí me tocara hacer un estudio como el de Piñuel y Oñate, no sabría exactamente cómo tendría que realizarlo. Sé que han pasado un test a cerca de 25000 niños. Pero, ¿de dónde los sacan? ¿Van cogiendo colegios al azar o son aquellos en los que tenían algún contacto? ¿Recibieron alguna formación especial los tutores que pasaron el test o se les dieron unas hojas y que cada cual hiciera lo que dictara su intuición? Dependiendo de cuál sea la respuesta a cada una de estas preguntas uno puede estar más seguro de la solidez de los datos o menos.

Una duda fundamental que lastra la totalidad del informe es no aclarar qué es lo que se considera como un chaval acosado. Los autores, supongo, se amparan en el test que tienen comercializado por TEA, el Test AVE (Acoso y Violencia Escolar). Cuando uno se basa en un test poco conocido y de difícil acceso, es común que uno señale en un informe de estos la información más importante que los lectores pueden necesitar para entender los datos. En este caso, no se hace, al menos no de un modo claro. Como en muchos apartados, este informe no se entiende, sino que se interpreta.

Los autores consideran que el acoso escolar es un variable numérica. No es como el tener VIH, que se tiene o no, que sería una variable categórica. Para ellos, el acoso escolar va desde nada hasta mucho. Esta puntuación dada en un continuo se quiere traducir a dos posibles etiquetas (sí acoso, no acoso). ¿Y cómo fija uno el punto de corte?

Dos son las alternativas: o aplicar el baremo de grupo y que los expertos fijen, según su conocimiento, el punto que diferencia ambos grupos. Aplicar el baremo equivale a decir que acosados serán aquellos que tengan una puntuación igual o superior a la que sacan el X por cierto de los chavales. Si uno define como acosados a los que tienen una puntuación en acoso superior al 70% de los niños y niños, no puede sorprenderse por encontrar que el 30% de los niños son acosados. Lo preocupante sería lo contrario.

La otra alternativa es tirar de expertos. Es como un examen. ¿Por qué el aprobado está en el cinco? Al menos en teoría, porque el experto, el profesor, ha decidido que ese es el nivel que separa a los capaces de los no capaces. Si la clase ha ido especialmente bien ese año, habrá pocos suspensos. Si ha ido mal, muchos. Pero el punto fijado por el experto permanece constante.

De la lectura del informe, interpreto que los autores han utilizado el criterio normativo, que es lo mismo que decir que podrían haber sacado el porcentaje de acosados que les hubiera dado la gana. Quizá, para esta gente, para ser considerado acosado es suficiente que te hayan quitado el sacapuntas un día en clase. O, tal vez, que te hayan dado siete palizas durante el recreo. Dependerá absolutamente de las características de la muestra de baremación. Ser del 30% más listo en una clase de superdotados no tiene que ver con serlo en una clase de chavales con problemas de aprendizaje.

Pero utilizar el criterio de los expertos no está exento de problemas. Volvamos al ejemplo del examen, en el que el aprobado está fijado en el cinco. Pongamos a nuestros Pepito y Manolita, de los cuales sabemos con absoluta garantía que tienen un nivel de 4. ¿Es de esperar que ambos saquen la misma puntuación, un cuatro? Lo más probable es que. Toda medición está sujeta a un cierto nivel de error. Si nuestros amigos sacan un 3'9 y un 4'1, podremos decir que el test no mide demasiado mal. Si sacan, por contra, uno un 1 y el otro un 7, nuestra confianza en las puntuaciones que nos ofrece el test caera mucho. Las puntuaciones que conseguimos harían que aprobásemos a gente que no merecía ser aprobada.

El concepto estadístico que informe acerca de cuánto error tienen nuestras puntuaciones es la fiabilidad. A mayor fiabilidad, menos error. A menos, más. A menos fiabilidad, mayor riesgo de cometer errores al interpretar las puntuaciones que la gente consegue en una prueba.

Cuando uno utiliza el criterio de expertos para dividir en grupos a una muestra, hay que vigilar que la fiabilidad de los tests sea elevada. De otro modo, estaremos sobredimensionando el grupo de puntuaciones extremas (los acosados en este caso) marcando como sí a los que, en realidad, son no.

En el caso del Test AVE, los coeficientes de fiabilidad (medidos mediante el alfa de Cronbach) son, para algunas subescalas, muy bajos, por debajo de lo que se considera tolerable entre la comunidad de psicómetras.

Podría extenderme más y más. De hecho, he pedido el test a la biblioteca de mi facultad para podérselo enseñar a mis alumnos como ejemplo de lo que es una mala prueba. Pero, como llego un mes tarde y esta no es precisamente un tema de rabiosa actualidad, lo dejo donde he llegado. Quien quiera leer más, puede darse una vuelta por Magisnet y por Wonkapistas.