domingo, octubre 08, 2006

Revisores ciegos

Para no conocedores del proceso habitual de publicación: cuando uno tiene una aportación que vale la pena, la envía a una revista. Cuanto más satisfecho está de su trabajo, a mejor revista lo manda. El editor de la revista reenvía el artículo a dos o tres revisores (depende de la revista). Para garantizar que el nombre del autor no sesgará la opinión de los revisores, éstos reciben el artículo sin ninguna identificación acerca de de quién es. Para evitar intercambios de favores o represalias entre autores y revisores, quien envía el manuscrito recibirá los comentarios sin saber quién evaluó su trabajo.

Este sistema no sé si es el mejor o no. Lo seguro es que deja la puerta abierta a que uno reciba revisiones de baja calidad y, algunas, incluso ofensivas. Dejo la reflexión de Robert J. Sternberg, psicólogo con un currículum investigador impresionante, ex-presidente de la American Psychological Association, sobre el tema (sacado de aquí; página 7):
Muchos de nosotros hemos dedicado nuestros esfuerzos mejor intencionados a escribir artículos para revistas científicas o propuestas de beca y recibido revisiones crueles de los mismos. Recientemente he recibido una de estas revisiones de un artículo co-escrito y enviado a una publicación que refiriéndose al mismo afirmaba que sonaba como si lo hubiera escrito un «abogado charlatán», y calificaba partes del mismo como «absurdas» o «galimatías». Se comparaba su argumentación con la de «ensayos de primer curso universitario», y recomendaba que el autor, quien «se encuentra seriamente fuera de su elemento en este tema… …evite aventurarse en áreas que exceden su competencia profesional».

Otros comentarios de la revisión no diferían mucho de éstos. Afortunadamente, la despiadada revisión era «confidencial», aunque por supuesto, el editor, otros revisores, y no se sabe quién más, vieron esta revisión confidencial. También hubo una segunda revisión del artículo mucho más favorable.

No sé si otros revisores hacen lo mismo, aunque tengo entendido que cuando se trata de revisar artículos, no existe campo en que los revisores ataquen de forma más cruel que la de algunos psicólogos. De lo que tengo constancia es que más de una vez en mi carrera profesional me ha asombrado la crueldad con la que se atacaba mi propio trabajo y el de otros, generalmente bajo el manto del anonimato. Me ha sorprendido tanto lo escrito por los revisores como que los editores (o los presidentes de las comisiones que asignaban las becas) remitieran las revisiones de esta forma. Tales revisiones son, en mi opinión, inaceptables, con independencia de la calidad (o falta de calidad) de los manuscritos examinados.

Los profesores universitarios emplean bastante tiempo enseñando a los estudiantes de postgrado a escribir artículos, pero no dedican nada a enseñarles a revisar artículos (o libros, o propuestas de beca). Quizá piensan que hacer revisiones es una destreza natural de las personas. Es evidente que no y es probable que se necesite una formación reglada. Las revisiones crueles son negativas para todos por varias razones:

Ética fundamental. En relación con los principios éticos, las revisiones crueles violan la regla de oro: actuar con los demás como queremos que actúen con nosotros. Nadie quiere ser tratado de manera irrespetuosa ni insultante, sea quien sea.

Equilibrio. En realidad es inusual que un artículo o propuesta de beca carezca por completo de algún valor positivo. La tarea de un revisor es proporcionar una evaluación equilibrada de un artículo o propuesta de beca, señalando el valor positivo así como los defectos en lo examinado. Las revisiones despiadadas son desequilibradas y por tanto con ellas los revisores no cumplen su cometido. Los comentarios que éstos proporcionan resultan desequilibrados y sesgados. Incluso si los artículos han de ser criticados severamente, tales críticas se pueden transmitir con cortesía.

Exageración. Es infrecuente que más de uno de los revisores sea del todo negativo. A menudo otros revisores son incluso positivos. Los artículos y propuestas son pocas veces tan inaceptables como consideran estos revisores. Al hacer estas críticas despiadadas los revisores normalmente fuerzan la verdad.

Mantener la credibilidad para producir un cambio. En general no conseguimos cambiar la conducta de las personas degradándolas ni insultándolas. Al contrario, perdemos credibilidad precisamente ante aquellos cuya conducta queremos cambiar. Como consecuencia, estas personas no estarán dispuestas a escucharnos. El contenido personal de la revisión reducirá su eficacia en lugar de aumentarla.

Socavar el rendimiento. Aunque no siempre, los investigadores con mayor experiencia normalmente toman con calma las revisiones despiadadas. Ya las han recibido antes y saben que las volverán a recibir. Además suelen ser titulares y catedráticos de modo que no tienen que preocuparse porque éstas comprometan sus puestos de trabajo. Sin embargo, los investigadores jóvenes que acaban de empezar quedan sorprendidos, descorazonados y hasta pierden la esperanza de conseguir el éxito en el campo de estudio porque no se dan cuenta de que el problema está en el revisor, no en el material revisado. Puede que el trabajo efectivamente requiera una considerable reelaboración, pero aun así, no hay necesidad de atacarlo cruelmente.
Que saque este tema hoy, claro, no es casualidad. Acaba de llegarme un correo electrónico en el que me notifican que me rechazan el que sigo considerando que es mi mejor artículo. Acepto que el inglés no estaba pulido (personalmente, necesitaba revisión, pero aquello no era para nada como el inglés de los apaches) y que había algunos errores en la numeración de las ecuaciones (no en el contenido, sino en el número que ocupaban en el texto). No reconocerlo sería negar lo evidente.

Cuando envié ese manuscrito tenía una prisa tremenda por poner en movimiento todo lo que tenía escrito. Los procesos de revisión son lentos. Si quería obtener plaza, tenía que ofrecer un currículum bueno para cuando salieran las convocatorias. Me pudieron las prisas. Acepto la responsabilidad de los fallos del artículo. (Ya me gustaría a mí poderle lanzar la pelota a alguien).

Pero creo que esto no justifica que, tras nueve meses de espera, nueve meses desde que lo envié, me llegue una revisión en la que un revisor se despacha mi artículo en cuatro líneas y media. Ni una sola de ellas hace mención a las ideas que presento. Me parece una absoluta falta de decencia profesional hacer algo así.

En estos casos, uno no negocia con el editor de la revista. Lo que ellos dicen es palabra de Dios. Sólo me queda el pataleo y pensar a qué otra revista lo envío ahora.

6 comentarios:

  1. No estoy de acuerdo con tu última frase. Precisamente en estos casos es cuando uno tiene fuerza para negociar con el editor de la revista porque tiene argumentos para pedir que envíe el trabajo a otro revisor. Hay que hacer énfasis en la ausencia de argumentación y falta de críticas concretas al trabajo. Los editores suelen tener bastante experiencia y saben lo que hay con los revisores. A lo mejor no consigues nada para tu caso concreto pero al menos el editor pondrá al revisor en cuarentena.

    ResponderEliminar
  2. Lo que no se entiende muy bien es una crítica de cuatro líneas. En cuatro líneas no se puede ni desmontar un argumento ni señalar errores importantes. Y, desde luego, a esas cuatro líneas no se puede responder, porque, seguramente, no contienen en sí mismas ningún argumento defendible.

    ResponderEliminar
  3. Es muy habitual que los revisores de revistas en otro idioma hagan un énfasis excesivo en los problemas de lenguaje. A mí me ha pasado, y a personas de mi entorno también.

    Es especialmente grave por cuanto, en muchas ocasiones, hay revisores británicos y americanos que tienen ideas diferentes de lo que debe ser el idioma adecuado. No es la primera vez que me dicen que hay "typos". Pues señálalos, cacho cabrón. No me hagas descubrir cuáles te han ofendido especialmente.

    Además, se supone que eso es un problema nimio. Lo importante de un artículo científico no es la expresión gramatical. Lo importante es la tesis que subyace. Es eso lo que se debe criticar. Yo también he evaluado artículos y me he encontrado de todo. Hasta auténticas barbaridades, de las que tienes que criticar razonablemente durante páginas para fundamentar tu evaluación negativa.

    No estoy de acuerdo en que no puedas negociar. Creo que si no estás de acuerdo con la evaluación recibida, debes escribir al editor justo como te dice angel.

    ResponderEliminar
  4. Al final, negociar no he negociado. Pero sí que he expresado mi disconformidad con la revisión recibida.

    Me queda la duda de si esto hará que el editor me ponga una X, a ver si voy a entrar en su lista negra por esto. Creo que fue un correo electrónico educado, comedido, pero, claro, a saber cómo lo recibe.

    En mi vida he revisado un artículo. El día que me llegue (si llega) espero recordar esta experiencia y actuar mejor.

    ResponderEliminar
  5. Por escribir a un editor nadie te va a marcar ni poner en una lista (excepto si dices lo que piensas, claro).

    En tu caso, si estás 1-1 y dado que no hay argumentos sustantivos en contra del artículo, es cierto que puedes decirle al editor que estás sorprendido de que no haya enviado el trabajo a un tercer evaluador para deshacer el empate, y que estarías dispuesto a volver a esperar el resultado. (Lo que tú crees en realidad es que es obvio que debería haber desechado el informe, pero ¿ganas algo diciéndole que en tu opinión no se ha comportado profesionalmente?)

    El editor entonces hará una de las cosas siguientes:

    -Nada (o sea, literalmente no acusar recibo)
    -Decirte que la revista recibe mucho más material del que puede publicar y dado el alto nivel de exigencia, el hecho de que una de las evaluaciones era abiertamente negativa, y el hecho de que la revista ya había retenido el trabajo durante mucho tiempo, le ha parecido que lo mejor para ti era no diferir la decisión varios meses más.
    -Decirte que, a la vista de los informes, no había expectativas de que una mera revisión del trabajo satisficiera a todos los evaluadores, por lo que procedía rechazarlo.

    Lo primero que tienes que saber es que todos los argumentos que te den son post hoc y que nunca vas a obtener una discusión sincera de estos temas. El editor, por ejemplo, no te revelará qué escribió el evaluador en el apartado de "comentarios confidenciales", ni en cuánta estima tiene la opinión de ese evaluador, ni con qué criterio lo escogió (existe, por ejemplo, la figura del "evaluador rechazador"), ni *qué opinión tiene él a partir de su conocimiento superficial del artículo*.

    En tu caso, es plausible que el editor haya reclamado varias veces su informe al evaluador (esta sería la causa del retraso) y al recibir el último emilio éste haya cogido el artículo, le haya echado un ojo por encima mientras tomaba el café y haya escrito cualquier cosa para salir del paso. El editor sabe esto pero sabe también que de haber dedicado más tiempo a escribir un informe detallado, la recomendación final sería la misma.

    Lo segundo es que, desgraciadamente, no hay academias para aprender a ser evaluador ni editor. Mi experiencia es que "editor" y "profesionalidad" son conceptos totalmente inconexos. Los editores no suelen tener ninguna idea definida sobre *cómo debería actuar un editor*, así que hacen lo primero que se les ocurre. También es rotundamente falso, según mi experiencia, que revistas mejores tengan evaluadores o editores mejores.

    ---
    Del primer artículo que yo envié, uno de los informes era de cuatro líneas... y casi dos estaban dedicadas a pedir disculpas al editor por la tardanza ya que estaba muy ocupado últimamente...

    ResponderEliminar
  6. Se me olvidaba un buen consejo del libro "How to write mathematics" de Steven Krantz:

    If you submit to a very good journal, be ready to see your paper rejected for almost any reason.

    ResponderEliminar