Justificando calidad de artículos para sexenios CNEAI

Recientemente me han concedido dos sexenios de investigación nacionales. Las instrucciones, razonablemente, no acaban de ser del todo cerradas, puesto que no es sencillo describir en el BOE qué es un artículo de calidad y relevante. Se ofrecen pistas, pero si uno no tiene experiencia y cuenta con muchas personas a su alrededor con quienes consultar, le pueden surgir dudas. La intención de este post es servir de ayuda a quienes se enfrenten a este trago administrativo más adelante.

Lo que dice el BOE
Permítanme que empiece por una obviedad: es conveniente leerse con detalle la normativa oficial. Revisen el BOE, subrayen... En el campo de la Psicología, la información clave era esta:

A título orientativo se considera que para poder alcanzar una evaluación positiva en las áreas de Psicología, al menos cuatro de las cinco aportaciones serán artículos publicados en revistas que cumplan los criterios del apartado 3.a) [artículos en revistas indexadas en el Journal of Citation Reports] y tres de ellos publicados en una revista de impacto, situadas en el primer y segundo cuartil de su categoría.

[...]

La valoración final del tramo dependerá del conjunto de las aportaciones presentadas. Se valorará especialmente el que sean significativamente relevantes las citas que éstas hayan podido recibir.

Hay que acreditar (a) que la revista en la que se publicó la contribución está bien posicionada en los rankings JCR, (b) que las citas recibidas por el artículo son relevantes en número y origen, y (c) que la contribución personal en esa publicación es importante.

Acreditando calidad y relevancia
La solicitud de sexenios es un juego masivo en el que los académicos españoles jugamos a saber de cienciometría y biblioteconomía. Como, en realidad, estas no son para la mayor parte de nosotros nuestras áreas de especialización, voy indicar a qué recurrí yo, como 'amateur' en estas lides.

En la plataforma de la CNEAI se han de rellenar dos apartados: Breve resumen e Indicios de calidad. En mi caso, el Breve resumen lo dividí en dos apartados: el propio resumen del artículo y mi contribución personal a cada contribución. En el resumen asumí que quien me leía no tenía por qué tener conocimientos especializados sobre mis temas de investigación, así que describí mínimamente el campo de trabajo y los problemas a los que estaba intentando responder. Consideré oportuno enmarcar el artículo para un posible comisión evaluadora con perfiles de lo más variados. Después ya entré en lo específico del artículo: qué se hizo y qué se consiguió. Respecto a la contribución personal, creo que lo más oportuno es intentar ceñirse siempre lo más fielmente a la realidad, siempre y cuando esta suene creíble. Si uno va de quinto autor, difícilmente va a poder contar que idea original, recogida de datos, redacción... fueron tareas propias, aunque a veces y en algunos equipos de trabajo eso pueda ocurrir.

Para el apartados de Indicios de Calidad yo me apoyé en cuatro fuentes:

1. Web of Science.
2. Scopus.
3. Google Scholar.
4. El software Publish or Perish, gratuito.

Vemos varios ejemplos de contribuciones que incluí. Primero, un artículo en Q2 del que soy primer autor y con un número adecuado de citas. Este mérito encaja en lo demandado por el BOE, por lo que el difícil, más que justificar bien el mérito, sería no saberlo justificar adecuadamente. Pero me permitirá indicar la estructura que empleé.

INDICADORES DE CALIDAD DE LA REVISTA:
Factor de impacto (JCR 2008): 1.372
Posición relativa:
- Categoría: MATHEMATICS, INTERDISCIPLINARY APPLICATION
- Posición: 25/76
- Cuartil: Q2
INDICADORES DE CALIDAD DEL ARTÍCULO:
Citas:
- Web of Science (WoS): 16
- Scopus: 17
- Google Scholar: 40

Se responde a tres preguntas: (a) ¿cuál es el factor de impacto de la revista?, (b) ¿cuál es la posición de esa revista en su campo de referencia?, y (c) ¿cuántas citas ha recibido?. En este caso, y tal y como es habitual, las citas recogidas por Scholar son mayores que las de Scopus y estas superiores a las de WoS.

Hecho esto quería por justificar que el número de citas es destacable. El criterio comparativo de las revistas es fácil, puesto que el propio JCR incluye categorías por campo científico, ya que se entiende que no se cita al mismo ritmo en Matemáticas, Medicina, Psicología... Sin embargo, si 16 citas para un artículo de psicología matemática (simulación estadística de psicometría) son muchas o pocas no es fácil de establecer, salvo que uno lleve muchos años en esa área y ya tengo el ojo muy hecho.

Para solventar esta problema recurrí a Publish or Perish. Este programa permite fácilmente consultar Web of Science y ofrece la información más compacta y más fácilmente exportable a otras programas como Excel, R...

El artículo que estaba sometiendo a evaluación lo publicamos en el British Journal of Mathematical and Statistical Psychology en el año 2008. Entendí, pues, que lo más oportuno era comparar el número de citas recibidas por mi artículo con aquellas con los que resulta más comparable, el resto de artículos publicados el mismo año en la misma revista. El factor de impacto no puede darnos esta información. Repito, extiendo y pongo en cursivas: saber el número de citas que ha recibido un artículo y el factor de impacto de una revista no permite saber si ese artículo destaca como artículo muy o poco citado. Por suerte, hay programas que nos permiten esta comparación. Le pedí a Publish or Perish que me mostrara todos los artículos de tal revista y tal año. De ese modo puede justicar:

En el año 2008 se publicaron 27 contribucionales en la revista British Journal of Mathematical and Statistical Psychology. Con 16 citas en WoS, este artículo se sitúa como el quinto más citado de ese año (periodo de citación desde publicación hasta ahora; consulta a 29/01/2018 a través del software 'Publish or Perish'), esto es, aproxidamente el 82% de los artículos de ese año han recibido menos citas.

El mensaje hasta ahora es algo como "eh, que no solo aporto un artículo en Q2 (cumplo), sino que además es un artículo altamente citado si me comparo con quienes probablemente sea más oportuno compararse".

Igualmente, intenté mostrar que las citas recibidas eran citas de calidad. Una aproximación para ello es señalar que las citas provienen de revistas de un perfil alto en el área de conocimiento:

Este artículo ha sido citado en revistas clave del área como Applied Psychological Measurement, Educational and Psychological Measurement o Journal of Educational Measurement.

Y ya para acabar, introduje una valoración personal de cuál es la contribución científica aportada. Mientras que en el apartado de Breve resumen señalé más "esto es lo que hay" aquí introduje un "esto es lo que supuso y aportamos".

Como señalaba, con el artículo comentado era fácil documentar que se satisfacían las demandas. Paso ahora a un artículo publicado en una revista Q3. En la medida de lo posible, intenté repetir estructura en las cinco contribuciones. Creo que es algo que me ayudó a mí y que puede facilitar la tarea de la comisión.

INDICADORES DE CALIDAD DE LA REVISTA:
Factor de impacto (JCR 2009): 0.714
Posición relativa:
- Categoría: SOCIAL SCIENCIES, MATHEMATICAL METHODS
- Posición: 27/38
- Cuartil: Q3

Y ahora el momento de intentar 'levantar' una revista en Q3.

- Comentario sobre cuartil:
Es común que las revistas de métodos matemáticos tengan un factor de impacto relativamente bajo. Esto supone que pequeños cambios de año en año en el número de citas recibidas se pueden traducir en grandes saltos en la posición relativa de una revista en la categoría. Así, por ejemplo, esta revista ha estado en Q2 (ventana de revisión: más y menos tres años con respecto a año de publicación, esto es, 2006-2012) los años 2006-2007 y 2010-2012. Por ello, la posición en Q3 representa la excepción.
Según el Scimago Journal Rank, Applied Psychological Measurement ocupó en el año 2009 el Q1 en las categorías 'Psychology (miscellaneous)' y 'Social Sciences (miscellaneous)'.

Traducido: "Sí, es un Q3, pero es porque el artículo salió un año excepcional. Y, si en lugar de mirar al JCR miramos a otros rankings la revista destaca en posiciones altas".

Y después paso a justificar por qué la revista escogida era la apropiada para un artículo sobre rests adaptativos informatizados, al margen de su factor de impacto y posición relativa:

- Comentario sobre relevancia de la revista:
La revista Applied Psychological Measurement es la revista de refencia en el desarrollo de métodos en tests adaptativos informatizados. Prueba de ello es que, si buscamos en Web of Science ' TOPIC: (computerized adaptive test*)' en el periodo 2006-2012, encontramos 290 resultados. La revista con mayor número de publicaciones en este periodo sobre tests adaptativos es, efectivamente, Applied Psychological Measurement, con 30 publicaciones. La siguiente es Quality of Life Research, con 26, si bien ahí no se suelen publicar métodos, sino aplicaciones. Por tanto, considero que la revista elegida era la más apropiada considerando el público objetivo.

El mensaje es "Si tú quieres hablar con la comunidad investigadora sobre tests adaptativos informatizados, tu revista objetivo, especialmente en aquellos años, tenía que ser donde se envió el manuscrito. Otras revistas tal vez luzcan más, pero no son revista de referencia para este microtema."

Adicionalmente, este artículo contaba con el marchamo de calidad de la Asociación Europea de Metodología:

Por este artículo recibí el año 2008 el 'EAM [European Assocation of Methodology] award for the best article of a junior scientist'. Información disponible en:
http://www.metheval.uni-jena.de/projekte/eam/ann_awards.php

También incluí número de citas recibidas, comparación con otros artículos en esa revista tal año...

Y ya para acabar, lo que reseñé en una tercera contribución:

INDICADORES DE CALIDAD DE LA REVISTA:
Factor de impacto (JCR 2016; último disponible): 9.436
Posición relativa:
- Categoría: STATISTICS & PROBABILITY
- Posición: 1/124
- Cuartil: Q1
INDICADORES DE CALIDAD DEL ARTÍCULO:
Citas:
- Web of Science (WoS Core Collection): 0
- Scopus: 0
- Google Scholar: 15
Por el momento, según WoS y Scopus este artículo no ha sido citado. Hay que tener en cuenta que su publicación es reciente (doce meses). Igualmente, el número de citas esperadas en un futuro es bajo. La librería catR será especialmente útil a gente orientada a la práctica psicométrica. Las personas que realizan estudios de simulación y evaluación a gran escala (aquellos que en mayor medida publican artículos científicos) es común que desarrollen su propio software. Pese a ello, considero que este artículo es relevante puesto que contribuye a intentar reducir la amplia distancia entre los últimos avances psicométricos en tests adaptativos y la práctica fuera del ámbito de la psicometría especializada. Como señal de ello, desde el 1 de mayo de 2014 (primer primero de mes tras publicación de la versión 3 de catR, cuando me incorporo en el su desarrollo) hasta el 30 de enero de 2018, la librería catR ha sido descarga del repositorio CRAN 27643 veces, según las estadísticas extraídas con la librería dlstats.

Esto lo escribí porque sabía que para este sexenio tenía las espaldas bien cubiertas. Desde que escribí esto hasta ahora, pese a mis escasas expectativas, el artículo ha sido citado tres veces, que para mis estándares es mucho. Pero lo importante es que pude intentar documentar la relevancia a través de un indicador no estándar: el número de veces que se ha descargado una librería del programa R. Una librería con más de 27000 descargas difícilmente puede ser etiquetada como no relevante, creo.

Ideas principales
Conviene documentar que la revista presenta un factor de impacto alto dentro de su categoría de referencia y que el artículo ha sido citado de forma importante. Para ello, una opción cómoda es el software Publish or Perish.

Cuando los modos más fáciles de documentar esto fallen, se puede recurrir a otros argumentos. La argumentación ganará en tanto que recurramos a información objetiva. Que una cierta revista es la de referencia en un ámbito de investigación se puede acreditar a través de búsquedas de ciertas palabras clave. Que una revista excepcionalmente bajó de cuartil se puede mostrar tomando un cierto periodo de referencia en torno al año de publicación...

Los modos de justificación no agotan las opciones disponibles y, seguro, hay sistemas mejores de hacerlo. Yo no creo haber conseguido los sexenios por estas estrategias, sino por haber estado dispuesto a perder años y solo solicitar aquellos en los que cumplía sin lugar a dudas las exigencias. (Me han apaleado tanto que no tengo el ánimo para muchas más noticias negativas.)

En cualquier caso, espero que esto le puede ayudar a alguien más adelante, aunque solo sea como modelo a romper y generar uno propio. Y les animo a emplear el software Publish or Perish.

Unas notas finales
Los sexenios son una aberración bibliométrica.

Que trabajes durante seis años sin saber cuáles serán los estándares que te pedirán tras ese periodo es una aberración.

Que quienes trabajamos en instituciones más aisladas no tengamos acceso a cauces de información informales ("oye, tú que estas en la comisión, ¿sabes realmente qué piden, al margen de lo que ponga en el BOE") es comprensible, pero injusto.

Que quienes nos hemos pasado años y años sin poder promocionar y, con ello, sin poder pedir sexenios hayamos de perder años de sexenio porque los criterios han ido subiendo mientras nos teníamos que quedar parados sin poder tramitar nada es injusto. Un CV que en el 2008 podía dar sin problemas para un sexenio --señal de que estábamos haciendo lo que se nos podía exigir dada la madurez de la ciencia en España por entonces-- en el 2018 da para envolver bocatas. Como los Titulares y los Catedráticos no pasan por esto puesto que ellos han podido pedirlos durante los años de la crisis y del gobierno del PP destroza-universidades, no se habla de este tema.