¿Qué consecuencias tiene el factor de impacto? En algunos países, relativamente pocas. Como revisor he visto artículos enviados por popes del área en primer lugar a revistas del tercer cuartil que, tras ser rechazados, pasaban a enviarlos (y publicarlos) en revistas del primer cuartil. La revista del primer cuartil era el plan B porque, para el tema en concreto del artículo, la revista de referencia tiene un factor de impacto mucho menor. En algunos lugares uno intenta publicar en las revistas que leen aquellos con los que uno aspira a comunicarse.
En España sí que es relevante el factor de impacto. Hasta hace relativamente poco, lo importante como investigador era publicar en cualquier revista incluida por que la empresa que mide el factor de impacto. Lo importante (al menos según las reglas del juego de tribunales y agencias de evaluación) era maximizar el número de artículos. ¿Que publicar en Science te suponía tres veces más esfuerzo que publicar en Revista de Ciencias del Barrio? Pues a por Revista de Ciencias.
Progresivamente las reglas del juego van cambiando. Ahora los artículos en la Revista de Ciencias o cuentan poco o casi llegan a penalizar. Ser científico es entrar en una conversación mundial y uno ha de intentar hablar donde están los interlocutores naturales, aquellos a los que sigues y aquellos que querrías que te siguieran a ti. Obtener plazas, acreditaciones, sexenios... cada vez está más vinculado al factor de impacto de las revistas donde publica uno (confundiendo un indicador de revistas con un indicador de artículos; sería como creer que cualquier sueco es más alto que cualquier español porque los suecos en promedio de hace diez años eran más altos que los españoles de hace diez años).
El factor de impacto es una medida que carece de fiabilidad y validez. Esto daría (y espero que dé en el futuro) para más entradas del blog. Es un indicador métricamente muy cuestionable. Y lo es sin necesidad de que nadie lo piratee. Pero más cuando hay gente que, intencionalmente, pone de su parte para introducir ruido, para que revistas irrelevantes vean su factor de impacto disparado. De este modo, investigadores que publican en revistas mediocres pueden aparentar tener mejores currícula de lo que les correspondería. E investigadores que merecerían un puesto de trabajo pueden perderlo, por la distorsión introducida por algunos grupos de investigación que piratean desde la inmoralidad y la irresponsabilidad un indicador social y profesionalmente relevante.
Muchas, muchas revistas intentan forzar al alza su factor de impacto. La revista española Psicothema, durante años, se ha negado a publicar artículos que no citaran a otros artículos de Psicothema. Hace poco recibía una revisión de Psicológica donde se nos indicaba claramente cuál era el artículo que habíamos de citar. El problema no se limita a revistas españolas.
Pero hay un investigador que se lleva la palma en la manipulación del factor de impacto: Gualberto Buela-Casal. Veamos su historial como manipulador. (Repito: Detrás de la distorsión del factor de impacto hay daño producido a investigadores. El factor de impacto no es un juego, sino una medida que se emplea para tomar decisiones relevantes en la vida de un investigador).
Manipulando el factor de impacto de Psicothema, Revista Latinoamericana de Psicología, Revista Mexicana de Psicología y Revista Interamericana de Psicología
Un único artículo era el responsable de esta anomalía. En el 2002 Buela-Casal y colaboradores publican el artículo Estudio Comparativo de las Revistas de Psicología en Castellano con Factor de Impacto. Es un artículo con 364 citas. Un disparate. Lo que hacen es citar todos los artículos publicados en los últimos años en las revistas objeto de estudio. De este modo, cualquier artículo de esas revistas del 2000 ó 2001 ha recibido, al menos, una cita. Son artículos citados sólo por existir. Por ello, el factor de impacto que realmente correspondería a Psicothema habría de ser un punto menor.
Manipulando el factor de impacto del International Journal of Clinical and Health Psychology
De este tema me he ocupado previamente en el blog. ¿La técnica? Cada cierto tiempo se publican en esta revista artículos de obligada citación. La ventana temporal que cubre el cálculo del factor de impacto es de dos años. Por ello, estos artículos de obligada citación han de irse renovando. Artículos de cómo escribir un artículo, artículos de cómo categorizar el método de investigación de un artículo, artículos de cómo hacer una revisión... No hay que ser especialmente creativos para renovar la base de artículos de obligada citación: comparen este artículo del 2005 con este artículo del 2007. Se admite el auto-plagio. En la página de presentación de la revista aparece el listado de artículos que conviene incluir. O que pueden llegar a ser incluidos directamente por el equipo editorial. En el caso de no acomodarse, las revisiones marcan claramente que se espera la cita pertinente.
Actualmente, este revista está en el segundo cuartil de su categoría. Ha llegado a estar en el primer cuartil. Poca gente de prestigio internacional publica ahí para lo que se esperaría dado su factor de impacto.
Buela-Casal es uno de los directores asociados de la revista. (Creo que fue su primer director, pero esto no lo puedo asegurar. Y que fue director cuando se empezaron a publicar los artículos de obligada citación.) El actual director es Juan Carlos Sierra, persona de estrecha confianza.
Manipulando el factor de impacto de Estudios de Psicología, Anales de Psicología...
Hay multitud de revistas de psicología en España. Durante años ha sido habitual que cada facultad tuviera la suya. Yo, como investigador productivo español, desconozco el nombre de gran parte de ellas. Por ejemplo, hasta hace poco no sabía que en la UAM se editaba Estudios de Psicología o en Murcia Anales de Psicología. Lo descubrí cuando aparecieron en el segundo cuartil de la categoría Psicología-Multidisciplinar con un factor de impacto superior al de revistas con mucha mayor tradición.
Aquí, de nuevo, casi todo el factor de impacto puede atribuirse a un único artículo, de Quevedo-Blasco y López-López, con título Análisis Bibliométrico de las Revistas Multidisciplinares de Psicología Recientemente Incorporadas en la Web of Science (2008-2009). En este artículo se citan 471 artículos de las revistas españolas y latinoamericanas incluidas para evaluar su factor de impacto. De nuevo, se citan a artículos por el hecho de existir. De este modo, la revista Anales pasa de un factor de impacto en el 2009 de 0.244 a un factor de impacto de 1.338 en el 2010. Un solo artículo de una sola revista cita a los 80 artículos de Anales en el lapso de tiempo que cuenta para el cómputo del último factor de impacto, y no porque aporten algo especial sino porque sí. Descontando este artículo, el factor de impacto de Anales (o de Estudios de Psicología, o de Universitas Psychologica, o de Revista Latinoamericana de Psicopatología Fundamental...) baja un punto entero, dejándolas en la cuasi-irrelevancia esperable por su capacidad para atraer artículos de investigadores de alto nivel.
Este artículo recuerda mucho al escrito por Buela-Casal sobre los artículos de Psicothema que comentaba anteriormente. En este caso no es Buela-Casal el autor. Él, discretamente, sale del foco. Lo firman colaboradores estrechos suyos como demuestra la gran cantidad de publicaciones conjuntas o la labor como asistentes editoriales en el International Journal of Clinical and Health Psychology. Es muy poco creíble que Quevedo-Blasco y López-López escribieran este artículo sin conocimiento y supervisión de Buela-Casal.
Por tanto, son múltiples las ocasiones en las que Buela-Casal y su equipo han trabajado para distorsionar el factor de impacto. Los problemas de la manipulación del factor de impacto no se limitan a las posibles decisiones tomadas sobre currícula de investigadores. Tiene más efectos nocivos:
- Los investigadores empiezan a enviar sus artículos a las revistas equivocadas. Si únicamente nos fijamos en el factor de impacto, a mí me sale más a cuenta publicar en una revista española (donde no me lee nadie con el que me quiera realmente comunicar) que en la revista de referencia de mi área de conocimiento (donde publican la gente cuyo trabajo admiro y que, algunos, valoran mi trabajo).
- Los investigadores empiezan a valorar mal su propia trayectoria. Yo he escuchado a Titulares vanagloriarse por haber publicado en una revista del segundo cuartil... que nadie lee y cuyo factor de impacto tendría que estar más cerca de 0 que de cualquier otro entero.
- Las revistas empiezan a tomar decisiones equivocadas. Una revista de pobre calidad empieza a subir los estándares de exigencia. Recibe muchos manuscritos. Al cabo de nada de tiempo, salvo otra manipulación, vuelve a situación casi de partida. Habrá que ver cómo se reajusta el sistema, pero liarse a pedradas en un charco no es algo trivial.
Lo que ya remata el absurdo de la situación es que Buela-Casal pasa por ser uno de los investigadores de referencia españoles en la evaluación de la calidad investigadora. Otros investigadores españoles han intentado pararle los pies a Buela-Casal en otros ámbitos (intentaba aparecer como el investigador más productivo español en el área de Personalidad, Evaluación y Tratamiento, de nuevo con colaboradores firmando como únicos autores los artículos que él no puede firmar, por un punto de dignidad). Espero que este post ayude a situar a Buela-Casal en su sitio y a cada revista en su lugar. Bastante malo es el factor de impacto como indicador, bastante mal uso se le da, como para corromperlo todavía más.
