lunes, febrero 01, 2021

Mafias organizadas en paraísos de datos y evaluación universitaria online

El ambiente universitario ha estado tenso y con razón. Se han combinado varios estresores: periodo de exámenes y pandemia. En algunos campus y días han coincidido ventanas abiertas y ola de frío extremo, por lo que las condiciones de evaluación distaban de ser las más adecuadas para recoger el mejor rendimiento posible de los evaluados.

Muchos estudiantes y profesores han pasado semanas reclamando que la evaluación fuera online, como lo fue sin especiales problemas en el segundo cuatrimestre del curso 2020/21. Se buscaba así para reducir riesgos tanto dentro de las aulas como, especialmente, en las aglomeraciones de los accesos. Cuesta saber si este era el sentir general de la comunidad universitaria o no.

La respuesta mayoritaria de las universidades ha sido mantener la evaluación presencial. Si la docencia lo estaba siendo, con las cautelas que la situación exige, se ha entendido que también podían serlo los exámenes.

Este era el panorama hasta que dos actores destacados sueltan lo que entiendo como disparates.

El ministro de Universidades

El 27 de enero Manuel Castells tuitea esto desde la cuenta del ministerio.

Imagen 

Son cuatro los aspectos que quiero destacar:

1.- La fecha. El ministerio llega a pisar el confeti, con la evaluación o bien ya acabada o a punto de terminar para la mayor de las universidades. Para llegar tarde es mejor no ir. Para no ir en algo tan importante para un ministerio de competencias tan escasas, concretas, mejor no existir.

2.-  La apariencia de que los únicos preocupados son los estudiantes. A mí, como profesor, maldita la gracia que me hacen los exámenes presenciales. Y lo mismo pasa por la cabeza de muchos compañeros. El ministro parece querer desempeñar al papel de amiguito de los estudiantes. Existen estudiantes y rectores, como si en medio no hubiera más actores en la comunidad universitaria.

3.- El recurso a experiencias previas que, ahora mismo, son de valor discutible. Es verdad que no parece que los exámenes de junio de 2020 estuvieran plagados de problemas de copia, pero ni esto lo tenemos claro y, sobre todo, ya no estamos en ese momento. En junio de 2020 los estudiantes no podían quedar en la sala de estudio de un colegio mayor. La certeza de que no se compartía espacio físico era mucho mayor entonces que ahora. No digo que la copia fuera o no a ser frecuente, pero parece razonable entender que la experiencia previa no puede igualarse tal cual al momento actual.

4.- Y, para mí, lo más importante: la idea de que como se transfirió dinero a las universidades estas ya han de estar preparadas para la docencia online. Esa es una idea muy preocupante para un gestor público, una que casi entra en el pensamiento mágico del cambio: "lo único necesario para el cambio organizacional es el acceso a fondos". Con 400 millones de euros y en medio año todavía hay profesores que tienen problemas para manejarse en la docencia online y todavía hay alumnado residente en entorno con mala conexión y sin equipos. Si el cambio social es tan fácil, que el ministerio abra el grifo del dinero una vez al año y que no haga nada más en todo el año. Ah, no, esperad, que eso básicamente es lo que hace Castells.

La Conferencia de Rectores de las Universidades Españolas

A la CRUE le supo a cuerno quemado el comunicado del ministerio. Con razón, desde mi punto de vista. José Carlos Gómez Villamandos, presidente de la CRUE, se descolgó al día siguiente con unas declaraciones sorprendentes: "Todos sabemos que hay auténticas mafias organizadas en paraísos de datos que se han organizado y que están ofreciendo la realización de los exámenes".

Sorprende, primero, porque cuesta entender qué son los paraísos de datos y sus mafias. Por otro lado, porque todavía sigamos hablando de los estudiantes desde la sombra de la sospecha. La mayor parte de nuestro alumnado son esforzados estudiantes. Si yo tuviera veinte años, estaría un tanto harto de ser socialmente etiquetado machaconamente como irresponsable con respecto a las medidas anti-COVID, como miembro de un colectivo deseoso de piratear el sistema... No voy a negar lo evidente: por haber, hay tramposos y aprovechados. Pero creo que estos no son tantos y, seguro, sospechar por sistema contribuye a que se cumplan las sospechas. Si sospechamos que van a copiar, el alumnado ya no va a temer perder el respeto que les debemos. Si sospechamos que van a copiar, diseñaremos exámenes con tal nivel de dificultad, con tantas restricciones de tiempos... que casi que el único modo medio viable para superarlos será copiando. Sobre la necesidad de la confianza escribí en mayo del año pasado.

La idea de las mafias organizadas no tiene especial fundamento. Veamos este titular en el Ideal (30/01/21).

Aquí nos están contando que hay demanda, pero también, y esto es lo importante, que hay serios problemas para cubrirla, que apenas hay oferta de suplantadores para contestar a los exámenes. No hay tantas personas que sepan de Derecho Romano o de Álgebra IV como para aprobar exámenes a nivel universitario. De quienes sí que podrían hacerlo, es de esperar que una parte importante no esté dispuesta a delinquir. Cabe esperar que el precio de contratar a un suplantador sea bastante disuasorio y, adicionalmente, sea una actividad de riesgo. Los estudiantes que buscan suplantadores contactan con academias y profesores particulares porque ambos presentan recorrido previo que avala su calidad. Agotada esta vía, tirar del primer anuncio que uno se encuentra por internet de "hago el examen por ti" es lanzarse de cabeza a una posible estafa sin margen de denuncia. Te quedas con el suspenso y a ver quién se va después a la Policía a contarlo.

Las mafias de exámenes online no existen por el mismo motivo que antes no había una mafia general de suplantadores de exámenes presenciales. Si nos creemos lo de los paraísos de datos, nos podemos creer también mafias que con máscaras de silicona y maquillaje se hacían pasar por estudiantes en los exámenes tradicionales. También podemos imaginar un mundo de exámenes con pinganillos. ¿Los había? Seguro que sí, pero con la misma seguridad que eran un fenómeno residual.

Los estudiantes, cuando copian, lo hacen de los modos más accesibles y que mejor funcionan: exámenes de convocatorias anteriores y preguntando a compañeros. Las mafias de fantasía o no existen o tienen un impacto muy menor.

Estamos en un escenario nuevo. Ojalá dure poco. Pero es muy probable que los modelos híbridos de docencia online se vayan extendiendo. Una vez rota la puerta y comprobadas algunas de sus ventajas tiene sentido que nos acompañen. Esto nos mete en retos que no habíamos afrontado y será necesario descubrir soluciones. Lo que no ayudará es que nos inventemos los problemas, como la CRUE, ni que entremos tarde al tema, casi haciendo como si pasáramos de perfil, como el Ministerio.

jueves, noviembre 26, 2020

Sí, todos tus compañeros están publicando en Sustainability o en International Journal of Environmental Research and Public Health

Últimamente tengo la impresión de que cada vez más investigadores españoles publican en revistas del grupo MDPI como Sustainability o en International Journal of Environmental Research and Public Health. Ambas son revistas de pago, con un precio de unos 2000 euros por artículo, y razonablemente bien situadas en cuartiles¹, factor muy importante para acreditaciones en países como España. En principio, pues, estarían orientadas un mercado similar al de revistas como Plos, las del grupo Frontiers, o PeerJ.

 

Veamos los números¹¹, ciertamente sorprendentes. He buscando en Scopus¹¹¹ el número de artículos publicados en estas revistas desde el 2017 hasta ahora (2020/11/26), tanto en total como para España y China. He tomado China como referente dado que es un país con problemas de prácticas fraudulentas para publicar (si tú presionas en exceso, la gente no siempre responde hacia mayor calidad). A este respecto, recomiendo echar un vistazo a http://retractiondatabase.org/.

Varios aspectos son destacables:

- Un éxito brillantísimo atrayendo publicaciones. Estamos hablando de multiplicar como por cuatro o por cinco el número de manuscritos en cuatro años. Para poner esto en perspectiva, en este tiempo Plos parece irse hundiendo poco a poco. Por contra, el grupo MDPI fue en 2019 el mayor grupo editorial de acceso abierto.

- Es una revista dominada en gran medida por publicaciones chinas. Sí, indudablemente China es una gran potencia en la ciencia mundial, pero no representa como una cuarta o una tercera parte de la misma. (Datos de Scimago).

- Una presencia creciente de publicaciones españolas, tanto en número como en porcentaje. Dado el peso de la ciencia española, la presencia de nuestro país en esas revistas está aparentemente sobrerrepresentado. Hemos duplicado o multiplicado por cuatro nuestra presencia en porcentaje en esos medios en unos pocos años. Si miramos el número de artículos, la subida impresiona, con, p.ej., 52 artículos en el 2017 frente a 1283 en el 2020 en el IJERPH. Como el 14% de las publicaciones en estos dos medios son españolas ahora mismo.

Luego sí, es probable que una parte importante de tus compañeros estén publicando en estas revistas, en otras del mismo grupo editorial como Sensors o Nutrients.

¿Por qué tanto español en revistas MDPI?

La respuesta es la general: porque conviene. ¿En qué sentido conviene?

- Revisiones rápidas. De un correo de invitación para revisar para el grupo MDPI: "If you accept this invitation we would appreciate receiving your comments within 1 week". De un correo como coautor de un manuscrito en una de estas revistas: "Please revise the manuscript according to the reviewers' comments and upload the revised file within 10 days". Esto les permite publicitarse así:

Rapid Publication: manuscripts are peer-reviewed and a first decision provided to authors approximately 15.3 days after submission; acceptance to publication is undertaken in 2.9 days (median values for papers published in this journal in the first half of 2020).

Yo, como editor asociado en una revista de otro grupo editorial, habitualmente en una semana ni he conseguido localizar los revisores necesarios para un manuscrito. En poco más de dos semanas no he conseguido que casi nadie responda ya con la carta de revisión. En MDPI todo va aceleradísimo.

En ocasiones la velocidad puede ser un criterio importantísimo. En retorno científico (prestigio, citas, relevancia...) no es lo mismo llegar de los primeros a un campo que llegar al final de la fiesta a pisar el confeti.

- Revisiones laxas. Una de las características de MDPI es pagar a sus revisores con descuentos para futuras publicaciones en ese grupo. Eso altera el sistema de incentivos. Ya no es "vamos a ver si este manuscrito vale la pena, si se puede mejorar", sino "con unas cuantas revisiones me saco un buen pellizco para mi próxima publicación". Si el objetivo es el manuscrito, aceptas revisar aquellos en los que te sientes competente. Si el objetivo es tu propia investigación, la probabilidad de que aceptes lo qeu te echen es mucho mayor.

Recognition of Reviewers: reviewers who provide timely, thorough peer-review reports receive vouchers entitling them to a discount on the APC of their next publication in any MDPI journal, in appreciation of the work done.

Para esto no puedo ofrecer números, pero las revisiones que yo he recibido de esas revistas suelen ser de las más breves en número de palabras.

Otro indicador es la presencia de revisores ultraprolíficos en revistas MDPI. Tomemos este perfil de Publons.

Creo que podemos acordar que haber revisado más de 100 manuscritos para una revista o más de 150 en un solo año es llamativo. Seguro que habrá quien puede hacer cada una de estas revisiones de forma brillante, pero muchos (entre ellos, yo) no podríamos dedicarle el nivel de atención que requiere la valoración de cada texto.

- Alta probabilidad de publicación. Aquí es importante señalar que el porcentaje de manuscritos rechazados de una revista apenas informa de nada. El mercado se regula y, si una revista tiene fama de coladera, ahí se enviarán textos tan malos que pasarán a ser rechazados y se aumentará ese porcentaje. La clave es la probabilidad de rechazo para un nivel de calidad determinado. Eso es complicadísimo de determinar. Así que solo queda que acepten mi idea desde mi experiencia: a igual calidad, en MDPI entran más fácil, más rápido. También pueden aceptar la lógica económica: si cobro por cada artículo, ¿por qué no aceptar muchos?

- Amplitud de temas aceptados. Uno podría creer que estoy hablando de revistas 'de nicho', a tenor de sus títulos. Sin embargo, no es así. Con ganas, todo puede ser 'public health' y poder entrar bajo el paraguas temático de la revista. Solo hay que revisar los artículos ahí publicados.

- Sistema piramidal con ventajas para los editores de volúmenes especiales. 'Hazte editor y te hacemos precio a ti y a varios de tus amigos'. Tal cual. Hace unos pocos meses me llegaba una invitación para editor un volumen especial. Nótese: ellos me enviaron a mí, yo no los busqué a ellos. MDPI hace un buen trabajo de captación de editores.

As the Guest Editor, you will be offered an opportunity to publish one of your papers free of charge in open access form, and the chance to provide 10 discount vouchers (200 CHF each) to the authors that you invited for your Special Issue. You can receive one additional article processing charge waiver, that you can use to publish a review yourself;

Y a partir de ahí tú captas a investigadores para que envíen sus manuscritos. Una característica de estos volúmenes invitados es que los editores pueden publicar sin restricciones en los mismos. 'Yo me lo edito, yo me lo como'.

- Funcionamiento en cuartiles/factor de impacto alineado con las demandas de la ANECA. A modo de ejemplo, uno de mis artículos publicados en una revista MDPI. La revista que más ha publicado sobre ese tema, la revista de referencia, distinta a donde optamos por publicarlo, habitualmente estaba en Q3. Un artículo en Q3 pesa mucho menos en el CV, por más que sea la revista en la que sea más razonable publicar. ¿Queréis cuartil? Buscaré cuartil.

Respecto al factor de impacto, reconozco que a mí se me abre un enorme interrogante. Si los medios de control de la revista parecen pobres, ¿cómo es que sus artículos son relativamente bien citados? Una revista-coladera, en principio, no debería ser una revista capaz de atraer atención.

¿A qué precio se publica ahí?

Quien paga por esto es la sociedad en su conjunto y los propios investigadores. A ojo me sale que en 2020 se han ido como unos cinco millones de euros españoles a MDPI, aunque no es tan fácil de estimar, dados los posibles descuentos. Es mucho dinero del sistema científico español ahí metido.

El precio a pagar es reputacional también. La palabra 'depredador' ha rondado desde hace años al grupo MDPI. Igualmente se ha hablado de prácticas dudosas. Por ejemplo:

 

En estas condiciones, ¿por qué publicas tú mismo en revistas MDPI?

Porque paso de lastrar mi propia carrera o la de mis compañeros si las reglas del juego son estas. Al menos intento no engañar a nadie: yo en ocasiones publico en revistas malas. Creo que una mayoría de lo que tengo en MDPI no es por ello malo: a veces ha sido por necesidad de colocarnos rápido en un tema o presentar producción para un proyecto concedido. Pero no tengo problemas en decir claramente que estoy jugando a un juego que me parece podrido. Sirva este post, en parte, para ilustrar cómo el sistema de evaluación de los científicos en España genera distorsiones. Se nos va el dinero en publicar en medios cuestionables y los grupos de investigación con medios y voluntad para ello tienen mucho más sencillo colocar a su personal en puestos de profesorado, conseguir más proyectos...

Dicho todo esto: Sí, muchso de tus compañeros están publicando en Sustainability o en International Journal of Environmental Research and Public Health.

¹ Un modo hábil para colocar a una revista en un cuartil alto es incluirla en múltiples categorías en el JCR. En España, por ejemplo, manda el cuartil más alto de entre todos los disponibles para una misma revista. Es un sistema de diversificar inteligente y habitualmente empleado por las revista de MDPI.
¹¹ ¿Por qué es una tabla incrustada como imagen y no una tabla-tabla? Porque no tengo narices de hacerlo con facilidad en Blogger.
¹¹¹ Criterios de búsqueda:
SOURCE-ID (144989) AND ( EXCLUDE ( DOCTYPE,"er" ) ) AND ( LIMIT-TO ( PUBYEAR,2019) )
SOURCE-ID (21100240100 ) AND ( EXCLUDE ( DOCTYPE,"er" ) ) AND ( LIMIT-TO ( PUBYEAR,2019) )
Después he ido cambiando años.