Una parte básica del proceso parte de la asunción de que las citas a los artículos son 'espontáneas', esto es, las citas de los artículos se plantean por la utilidad de lo que ahí se expone. Un modo fácil de piratear al sistema es distorsionando este sistema de citación, citando con el fin de inflar el factor de impacto.
Vamos a intentar ver aquí cómo detectar estas manipulaciones del factor de impacto (FI). Para ello, el seguir a las revistas españolas y latinoamericanas de Psicología ayuda enormemente. Iremos viendo en qué información habríamos de fijarnos dentro de los JCR.
Tendencia en el factor de impacto
El FI es un indicador basado en la media de un gran número de elementos, por lo que tiende a ser bastante estable de año en año. Por ello, grandes saltos en las series indican activaciones o desactivaciones de prácticas de manipulación.
En el caso del Spanish Journal of Psychology podemos ver cómo su FI permanece bastante estable a lo largo de los años. (No estoy diciendo que haya necesariamente de ser estable el FI. Si así fuera, no tendría sentido seguir calculando los JCR. El error de los artículos que van entrando año a año influye. También, cambios en la política de la revista. Por ejemplo, desde comienzos del 2014, el Spanish Journal ha pasado a publicarse por Cambridge Journals -editorial de revistas muy importantes en el campo como Psychological Medicine-, pero deja de ser de acceso abierto para ser de pago. Veremos cómo afecta).
Universitas Psychologica es una revista colombiana. Entro por la puerta grande en los JCR con un valor que no ha vuelto a obtener. Esta anomalía queda totalmente explicada por un único artículo citador diseñado para alterar por completo al panoramo del FI de las revistas de Psicología españolas y latinas, tal y como expliqué anteriormente. Este tipo de patrones ha de llevarnos a pensar que algo raro pasó.
Psicología Conductual es una revista española. En este caso el patrón es perfectamente creciente. Aquí hay dos opciones: o bien los artículos que publican cada vez despiertan mayor interés o se están forzando los números. Si entra en la página web de la revista, veremos que los artículos son de pago (sin opción a suscripción institucional, diría), en castellano y la navegabilidad bastante pobre. No son predictores de una elevación del FI.
Por el momento, pondríamos bajo el foco de la sospecha a Psicología Conductual.
Volumen de autocitas
Es comprensible que si yo envío un artículo a una revista especializada en depresión, cite artículos sobre depresión, que bien pueden estar publicados en la revista a donde remito mi trabajo. Las autocitas son razonables. Pero: (a) hasta un cierto punto, (b) dependiendo de la amplitud de los temas tratados en la revista, (c) de las revistas alternativas sobre el mismo campo, y (d) dependiendo del idioma de los artículos. El punto de ruptura a partir del cual ya pasa a ser sospechoso el volumen de autocitas no sabría bien dónde establecerlo. ¿Un 10%?
Un aspecto importante es el de la amplitud temática de la revista y el número de alternativas. Revistas dedicadas a la lateralidad (zurdos, diestros...), comprensiblemente, hay pocas, luego encaja que los artículos citen otros artículos de ese misma revista. Pero es mucho más sospechoso que en revistas multidisciplinares o generalistas una parte importante de las citas vayan hacia la propia revista, porque artículos sobre esta temática pueden estar diseminados entre decenas de alternativas.
El idioma también es un aspecto relevante. Una revista que publica en castellano limita sus lectores y autores potenciales. En general, publicar en castellano es quemar un artículo, y el perfil de investigadores dispuestos a ellos es muy concreto. También lo es el de lectores que están por la labor de leer artículos destinados a quemarse. Por ello, es esperable que estas revistas tengan un FI muy bajo y nutrido de autocitas y de revistas que publiquen en el mismo idioma.
Empecemos por el Spanish Journal. Podemos ver cómo sólo el 3% del FI corresponde a autocitas.
En Psicothema el volumen se dispara hasta el 17%, por encima de lo común. (Por cierto, veremos qué tal le sale a Psicothema la apuesta de publicar desde este año únicamente en inglés. Creo que es una buena noticia para la Psicología española, si aceptamos que ser cola de león es mejor que ser cabeza de ratón. Y que no quieran ser un ratón-león con manipulaciones del FI).
Y aquí, ya, la fiesta de la autocita. Por orden, dos viejos amigos del blog (1, 2, 3), el International Journal of Clinical and Health Psychology y Revista de Psicodidáctica, y Psicología Conductual. El porcentaja de autocitas va desde el 40% hasta el 50%. En alguna o algunas de estas revistas es obligatorio para la aceptación del artículo el citar artículos previos publicados ahí.
Hacia dónde van y de cuándo son las citas de la revista
Imaginemos que hemos escrito un artículo menor que vamos a intentar publicar, pues, en una revista menor. ¿Sería razonable que casi todo el material en el que nos basamos y, por ello, citamos fuera de esa revista sin especial importancia? Desde luego que no. De hecho, habiendo como hay decenas de revistas interesantes, ni siquiera en las grandes revistas las referencias suelen estar plagadas de documentos publicados en ellas mismas. Aquí no estoy hablando de las autocitas tal y como las veíamos antes (citas gracias a la propia revista / total de citas recibidas), sino a las autorreferencias (artículos en las referencias de la propia revista / total de artículos de las referencias). El numerador permanece, pero no el denominador.
Un porcentaje elevado autorreferencial es indicativo, de nuevo, de interés en manipular el factor de impacto. Este interés queda especialmente reflejado cuando las autorreferencias se concentran en los años de entran para el cómputo del FI (el FI del año X se calcula como citas recibidas durante X en los artículos publicados durante X-1 y X-2).
Empecemos viendo el patrón de resultados para Psychological Bulletin, revista de la APA con 14.4 punto de impacto y ninguna necesidad de inflar su FI. Podemos ver cómo los artículos citados apenas provienen de los años 2012 y 2013 y cómo las autorreferencias (en amarillo) son mínimas. Aquí una gráfica que apunta a normalidad.
Podemos ver cómo la distribución para el Spanish Journal guarda un enorme parecido con la anterior. De nuevo, ninguna indicación de manipulación del IF por parte del Spanish.
Comparemos estos resultados con los del International Journal y la Revista de Psicodidáctica, en este orden. Del International Journal destaca la escasa tendencia a citar artículos de más allá de unos pocos años. Para ambas revistas sobresale la presencia del amarillo, las autorreferencias, y cómo éstas se concentran en la ventana temporal considerada para computar el FI.
¿Qué podemos sacar de esto?
Resumiendo y comentando:
- Quien tendía al pirateo, sigue por el mismo camino.
- Algunas revistas parecen estarse sumando a ese camino. (Citar artículos de la revista como requesito para publicar).
- Algunas revistas españolas presentan un comportamiento exquisito a este respecto. (Para mi gusto, la única pega al Spanish Journal, además de su cambio a ser de pago, es el más de medio año desde aceptación hasta publicación en la web del PDF).
- Hay otras prácticas de manipulación del FI que piden otras estrategias para ser detectadas. Especialmente presentes también en revistas españolas, las redes de citación: Revista A publica un artículo donde se citan 30 artículos de revista B y revista B corresponde. Eso no deja rastro las autocitas o autorreferencias. Sí en las tablas de citación. Pero si casi nadie revisa las autocitas, como para mirar más allá...
- Pese a ello, sigo defendiendo el valor del FI para la selección de profesorado. Prefiero un indicador imperfecto a una comisión de contratación tendenciosa. Cuando las comisiones de contratación en España, en promedio, empiecen a actuar de buena fe, cambiaré de opinión.
No hay comentarios:
Publicar un comentario