El área de Metodología de las Ciencias del Comportamiento presenta algunas características diferenciales con respecto a otras áreas dentro de la Psicología. De un profesor del área de Psicología Social se espera que investigue en psicología social, ¿pero se espera de un profesor de Metodología que investigue en metodología? En cualquier caso, ¿qué es investigar en metodología? Esas son las dudas que abordaré en esta entrada.
Dos son, probablemente, las grandes dinámicas de investigación del profesorado del área. La primera, el desarrollo de métodos y técnicas de estadísticas y de investigación. Sería la línea 'simulacionista', en la que los métodos son el propio objeto de investigación. La segunda, la aplicación de técnicas (desarrolladas por otros) en campos psicológicos sustantivos. Sería la línea 'aplicada', en la que la metodología es herramienta. Tanto una opción como otra son arriesgadas en el panorama español actual.
Si entendemos que la investigación hoy día es casi necesariamente colaborativa y grupal, la vertiente simulacionista se presenta complicada en aquellos departamentos con escaso personal del área y en los que el interés por esta orientación no es predominante. Cierto es que con internet y un ordenador pueden hacerse maravillas, pero desde esta orientación, trabajando (casi) solo en un campus, construir un grupo de investigación con opción a investigación financiada o a la dirección de tesis resulta complicado, salvo en algunos pocos centros. Los artículos en esta línea, casi necesariamente, han de ser más escasos, puesto que no demanda el mismo esfuerzo crear algo nuevo que aplicar algo ya desarrollado. Las revistas que publican este tipo de estudios no son muchas y, si nos ceñimos a las que se sitúan en los cuartiles demandados, tras pocos rechazos de un artículo uno ya casi queda fuera de los revistas deseables. Al ser pocas las revistas de estos temas, la inestabilidad en cuartiles es mayor que en otros campos. Revistas como Psychometrika pueden fluctuar entre año y año fácilmente un punto en factor de impacto y, con ello, se han movido dos cuartiles para arriba o para abajo. Durante años la aproximación más simulacionista en Metodología ha estado excesivamente pegada a la evaluación educativa y estos campos son especialmente de escaso impacto. (Desde mi punto de vista, por suerte, eso está cambiando y nos alejamos del predominio de lo educativo.) Esto lleva a que tanto productividad (en número e indicadores de –supuesta– calidad) como dirección de tesis o proyectos chocan con los estándares actuales de evaluación de currículos investigadores. Aspectos relevantes como acreditarse para ciertas plazas o conseguir sexenios puede ser más complicado, a mi entender, desde esta aproximación a la carrera investigadora. Un índice H de quince investigando, por ejemplo, en modelos de diagnóstico cognitivo es más difícil que desde otros temas. Garantizar publicaciones en cuartiles altos con ciertas oscilaciones completamente fuera de control es complicado.
La opción aplicada permite la inserción más fácil en grupos amplios de investigación por dos motivos. Primero, simplemente hay más grupos que investigan con metodología que no que investiguen en metodología. Segundo, las personas con perfil metodológico más bien escasean. Esta línea de trabajo facilita mejorar la productividad y, en ocasiones, la codirección de tesis doctorales. Conlleva un servicio valioso en el campo de la psicología o ciencias afines, dados los serios problemas de transferencia entre el desarrollo estadístico y su aplicación posterior (Marsh & Hau, 2007; Sharpe, 2013).
Este carrera investigadora aplicada supone, eso sí, ciertos riesgos. El metodólogo puede, de este modo, realizar investigación sin objeto en la medida en la que carece de las bases teóricas para poder dotar de forma autónoma de contenido lo que realiza. Hoy escribirá un tres párrafos en la sección de Resultados sobre depresión y mañana sobre reciclado de botellas, pero para él pueden acabar siendo variables sin sustancia. Investigación sustantativa desustanciada.
Es común que en estas dinámicas el metodólogo sea a quien se recurre una vez los datos y el diseño están cerrados. En palabras de Ronald Fisher, "to consult the statistician after an experiment is finished is often merely to ask him to conduct a post mortem examination. He can perhaps say what the experiment died of." No es infrecuente, en estas condiciones, acabar sin autorías principales. El metodólogo como el eterno n-ésimo autor. Es probable que a quienes han recorrido este camino no les suena extraña la historia del investigador que indica su voluntad de realizar la validación de un cuestionario con una muestra ya recogida y, tras ello, el metodólogo ha de leerse todas las validaciones previas, detectar incongruencias, vislumbrar el hueco por el que justificar la nueva investigación, realizar los análisis, interpretarlos, redactarlos... para acabar de segundo autor, con suerte. En un momento en el que, lamentablemente, el conocimiento metodológico actualizado se concentra en excesiva medida entre los metodólogos no es infrecuente que quien ofrece los conocimientos estadísticos para poder formalizar una pregunta de investigación relevante con la información recogida acabe relegado a segundo autor o más allá. Las tareas en situaciones así pueden ser variadas, desde aplicaciones de modelos exigentes hasta puras regresiones lineales. En este contexto de perfiles de metodólogos escasos la propia psicología académica no tiene bien resuelto cómo integrar y cuidar a quienes optan por esta especialización.
Así, también, resulta complicado poder optar a encabezar proyectos de investigación. Lo mismo que hace siglos se decía que "la filosofía es sierva de la teología", si operamos desde el modelo de "la metodología es sierva de la psicología", los siervos no son investigadores principales. La vida de siervo, según quién sea el amo, puede no ser muy agradable. Esta opción también resulta limitada, no únicamente en satisfacción laboral e intelectual, sino también curricular, especialmente en una época en la que los investigadores somos cada vez más nuestro índice H, número de citas y de artículos y posición dentro de la lista de autores.
A esto hay que sumarle el riesgo propio de las valoraciones de afinidad el área de conocimiento en una convocatoria de plazas. ¿Un artículo en Psychological Assessment es un artículo propio del área de Metodología? ¿Cómo separar a quien ofrece la parte metodológica de quien ofrece la parte más sustantiva ante una publicación de ese estilo? En algunas universidades la expectativa al convocar y baremar plazas es la selección de candidatos escorados hacia el 'simulacionismo'.
Afortunadamente en los últimos años se ha ampliado la posibilidad de perfiles mixtos, personas que simultanean ambas líneas. Esto permite intentar recoger lo mejor de cada aproximación y compensar riesgos. Esto se debe a varios motivos, a mi entender. Por un lado, la enorme mejora de la investigación psicológica en España, lo cual ha implicado una mayor necesidad de la incorporar metodólogos a los grupos sustantivos. Por otro lado, la reducción de cierta visión extremadamente purista según la cual el metodólogo era solo el 'simulacionista'.
Cada profesor en el área de Metodología intentará recorrer su camino lo mejor que pueda, desde sus condicionantes institucionales y personales. Por mi lado, yo he buscado, en los últimos años, desde una perspectiva de corte más aplicado el desarrollo en campos sustantivos desde la codirección y corresponsabilidad. Las ideas y orientaciones son compartidas y cada cual aporta desde su especialización. Esto, a mí, me ha supuesto aprender a investigar desde una mayor incertidumbre e dependencia. Yo podía escribir en gran medida solo un artículo sobre tests adaptativos informatizados; a mí me costaría muchísimo escribir sin contar con ayuda un artículo sobre estilos de alimentación. Sé de alimentación y sé de metodología. Esa mirada híbrida me permite complementar la mirada de quien aporta mayor solvencia sustantiva, pero me reconozco dependiente. Es probable que la ciencia actual, a según qué nivel, pase por ello necesariamente. Igualmente, me reconozco parcialmente en tierra de nadie. No llego a estar ni plenamente al día ni de avances metodológicos ni sustantivos y eso, en ocasiones, genera temores, incertidumbres.
Para mí resulta una opción adecuada. Mi formación metodólogica me permite plantear ciertas preguntas de investigación y esas preguntas tiran de mí para aprender más de metodología. El trabajar en campos sustantivos me devuelve a los estudios a los que entré por vocación y que me siguen apasionando. En mis años 'simulacionistas' yo (y enfatizo el 'yo': es una vivencia subjetiva y no todos han de sentirse igual) me sentía menos psicólogo. Lo que publiqué en aquella época, más que tuviera reconocimientos de premios, ha tenido un impacto científico bastante modesto. Mi trabajo en campos sustantivos permite participar del proceso investigador desde el arranque, definiendo objetivos y modos. Para mí conlleva que la brecha sustantivo-metodólogo queda reducida en un agradable proceso de enriquecimiento mutuo. Facilita mantener el ritmo de producción e impacto demandados. Hace viable el liderazgo investigador. Si me dieran la vida y los apoyos para mantener mi investigación más metodologico-teórica (simulacionista), ahora tengo preguntas de investigación para ese campo mucho más relevantes de las que tenía cuando realmente investigaba bajo ese prisma.
De nuevo, cada cual hará su camino. Hay que intentar leerse a uno mismo (¿qué sé?, ¿qué quiero?), el entorno (¿desde dónde trabajo?, ¿qué se me va a exigir?) e intentar decidir lo que mejor cuadre. Las distintas aproximaciones tienen sus pros y sus contras. En cualquier caso, disfrutemos de nuestro trabajo en la medida que podamos.
martes, mayo 24, 2022
Investigar como profesor del área de Metodología de las Ciencias del Comportamiento
lunes, febrero 01, 2021
Mafias organizadas en paraísos de datos y evaluación universitaria online
El ambiente universitario ha estado tenso y con razón. Se han combinado varios estresores: periodo de exámenes y pandemia. En algunos campus y días han coincidido ventanas abiertas y ola de frío extremo, por lo que las condiciones de evaluación distaban de ser las más adecuadas para recoger el mejor rendimiento posible de los evaluados.
Muchos estudiantes y profesores han pasado semanas reclamando que la evaluación fuera online, como lo fue sin especiales problemas en el segundo cuatrimestre del curso 2020/21. Se buscaba así para reducir riesgos tanto dentro de las aulas como, especialmente, en las aglomeraciones de los accesos. Cuesta saber si este era el sentir general de la comunidad universitaria o no.
La respuesta mayoritaria de las universidades ha sido mantener la evaluación presencial. Si la docencia lo estaba siendo, con las cautelas que la situación exige, se ha entendido que también podían serlo los exámenes.
Este era el panorama hasta que dos actores destacados sueltan lo que entiendo como disparates.
El ministro de Universidades
El 27 de enero Manuel Castells tuitea esto desde la cuenta del ministerio.
Son cuatro los aspectos que quiero destacar:
1.- La fecha. El ministerio llega a pisar el confeti, con la evaluación o bien ya acabada o a punto de terminar para la mayor de las universidades. Para llegar tarde es mejor no ir. Para no ir en algo tan importante para un ministerio de competencias tan escasas, concretas, mejor no existir.
2.- La apariencia de que los únicos preocupados son los estudiantes. A mí, como profesor, maldita la gracia que me hacen los exámenes presenciales. Y lo mismo pasa por la cabeza de muchos compañeros. El ministro parece querer desempeñar al papel de amiguito de los estudiantes. Existen estudiantes y rectores, como si en medio no hubiera más actores en la comunidad universitaria.
3.- El recurso a experiencias previas que, ahora mismo, son de valor discutible. Es verdad que no parece que los exámenes de junio de 2020 estuvieran plagados de problemas de copia, pero ni esto lo tenemos claro y, sobre todo, ya no estamos en ese momento. En junio de 2020 los estudiantes no podían quedar en la sala de estudio de un colegio mayor. La certeza de que no se compartía espacio físico era mucho mayor entonces que ahora. No digo que la copia fuera o no a ser frecuente, pero parece razonable entender que la experiencia previa no puede igualarse tal cual al momento actual.
4.- Y, para mí, lo más importante: la idea de que como se transfirió dinero a las universidades estas ya han de estar preparadas para la docencia online. Esa es una idea muy preocupante para un gestor público, una que casi entra en el pensamiento mágico del cambio: "lo único necesario para el cambio organizacional es el acceso a fondos". Con 400 millones de euros y en medio año todavía hay profesores que tienen problemas para manejarse en la docencia online y todavía hay alumnado residente en entorno con mala conexión y sin equipos. Si el cambio social es tan fácil, que el ministerio abra el grifo del dinero una vez al año y que no haga nada más en todo el año. Ah, no, esperad, que eso básicamente es lo que hace Castells.
La Conferencia de Rectores de las Universidades Españolas
A la CRUE le supo a cuerno quemado el comunicado del ministerio. Con razón, desde mi punto de vista. José Carlos Gómez Villamandos, presidente de la CRUE, se descolgó al día siguiente con unas declaraciones sorprendentes: "Todos sabemos que hay auténticas mafias organizadas en paraísos de datos que se han organizado y que están ofreciendo la realización de los exámenes".
Sorprende, primero, porque cuesta entender qué son los paraísos de datos y sus mafias. Por otro lado, porque todavía sigamos hablando de los estudiantes desde la sombra de la sospecha. La mayor parte de nuestro alumnado son esforzados estudiantes. Si yo tuviera veinte años, estaría un tanto harto de ser socialmente etiquetado machaconamente como irresponsable con respecto a las medidas anti-COVID, como miembro de un colectivo deseoso de piratear el sistema... No voy a negar lo evidente: por haber, hay tramposos y aprovechados. Pero creo que estos no son tantos y, seguro, sospechar por sistema contribuye a que se cumplan las sospechas. Si sospechamos que van a copiar, el alumnado ya no va a temer perder el respeto que les debemos. Si sospechamos que van a copiar, diseñaremos exámenes con tal nivel de dificultad, con tantas restricciones de tiempos... que casi que el único modo medio viable para superarlos será copiando. Sobre la necesidad de la confianza escribí en mayo del año pasado.
La idea de las mafias organizadas no tiene especial fundamento. Veamos este titular en el Ideal (30/01/21).
Aquí nos están contando que hay demanda, pero también, y esto es lo importante, que hay serios problemas para cubrirla, que apenas hay oferta de suplantadores para contestar a los exámenes. No hay tantas personas que sepan de Derecho Romano o de Álgebra IV como para aprobar exámenes a nivel universitario. De quienes sí que podrían hacerlo, es de esperar que una parte importante no esté dispuesta a delinquir. Cabe esperar que el precio de contratar a un suplantador sea bastante disuasorio y, adicionalmente, sea una actividad de riesgo. Los estudiantes que buscan suplantadores contactan con academias y profesores particulares porque ambos presentan recorrido previo que avala su calidad. Agotada esta vía, tirar del primer anuncio que uno se encuentra por internet de "hago el examen por ti" es lanzarse de cabeza a una posible estafa sin margen de denuncia. Te quedas con el suspenso y a ver quién se va después a la Policía a contarlo.
Las mafias de exámenes online no existen por el mismo motivo que antes no había una mafia general de suplantadores de exámenes presenciales. Si nos creemos lo de los paraísos de datos, nos podemos creer también mafias que con máscaras de silicona y maquillaje se hacían pasar por estudiantes en los exámenes tradicionales. También podemos imaginar un mundo de exámenes con pinganillos. ¿Los había? Seguro que sí, pero con la misma seguridad que eran un fenómeno residual.
Los estudiantes, cuando copian, lo hacen de los modos más accesibles y que mejor funcionan: exámenes de convocatorias anteriores y preguntando a compañeros. Las mafias de fantasía o no existen o tienen un impacto muy menor.
Estamos en un escenario nuevo. Ojalá dure poco. Pero es muy probable que los modelos híbridos de docencia online se vayan extendiendo. Una vez rota la puerta y comprobadas algunas de sus ventajas tiene sentido que nos acompañen. Esto nos mete en retos que no habíamos afrontado y será necesario descubrir soluciones. Lo que no ayudará es que nos inventemos los problemas, como la CRUE, ni que entremos tarde al tema, casi haciendo como si pasáramos de perfil, como el Ministerio.
jueves, noviembre 26, 2020
Sí, todos tus compañeros están publicando en Sustainability o en International Journal of Environmental Research and Public Health
Últimamente tengo la impresión de que cada vez más investigadores españoles publican en revistas del grupo MDPI como Sustainability o en International Journal of Environmental Research and Public Health. Ambas son revistas de pago, con un precio de unos 2000 euros por artículo, y razonablemente bien situadas en cuartiles¹, factor muy importante para acreditaciones en países como España. En principio, pues, estarían orientadas un mercado similar al de revistas como Plos, las del grupo Frontiers, o PeerJ.
Veamos los números¹¹, ciertamente sorprendentes. He buscando en Scopus¹¹¹ el número de artículos publicados en estas revistas desde el 2017 hasta ahora (2020/11/26), tanto en total como para España y China. He tomado China como referente dado que es un país con problemas de prácticas fraudulentas para publicar (si tú presionas en exceso, la gente no siempre responde hacia mayor calidad). A este respecto, recomiendo echar un vistazo a http://retractiondatabase.org/.
Varios aspectos son destacables:
- Un éxito brillantísimo atrayendo publicaciones. Estamos hablando de multiplicar como por cuatro o por cinco el número de manuscritos en cuatro años. Para poner esto en perspectiva, en este tiempo Plos parece irse hundiendo poco a poco. Por contra, el grupo MDPI fue en 2019 el mayor grupo editorial de acceso abierto.
- Es una revista dominada en gran medida por publicaciones chinas. Sí, indudablemente China es una gran potencia en la ciencia mundial, pero no representa como una cuarta o una tercera parte de la misma. (Datos de Scimago).
- Una presencia creciente de publicaciones españolas, tanto en número como en porcentaje. Dado el peso de la ciencia española, la presencia de nuestro país en esas revistas está aparentemente sobrerrepresentado. Hemos duplicado o multiplicado por cuatro nuestra presencia en porcentaje en esos medios en unos pocos años. Si miramos el número de artículos, la subida impresiona, con, p.ej., 52 artículos en el 2017 frente a 1283 en el 2020 en el IJERPH. Como el 14% de las publicaciones en estos dos medios son españolas ahora mismo.
Luego sí, es probable que una parte importante de tus compañeros estén publicando en estas revistas, en otras del mismo grupo editorial como Sensors o Nutrients.
¿Por qué tanto español en revistas MDPI?
La respuesta es la general: porque conviene. ¿En qué sentido conviene?
- Revisiones rápidas. De un correo de invitación para revisar para el grupo MDPI: "If you accept this invitation we would appreciate receiving your comments within 1 week". De un correo como coautor de un manuscrito en una de estas revistas: "Please revise the manuscript according to the reviewers' comments and upload the revised file within 10 days". Esto les permite publicitarse así:
Rapid Publication: manuscripts are peer-reviewed and a first decision provided to authors approximately 15.3 days after submission; acceptance to publication is undertaken in 2.9 days (median values for papers published in this journal in the first half of 2020).
Yo, como editor asociado en una revista de otro grupo editorial, habitualmente en una semana ni he conseguido localizar los revisores necesarios para un manuscrito. En poco más de dos semanas no he conseguido que casi nadie responda ya con la carta de revisión. En MDPI todo va aceleradísimo.
En ocasiones la velocidad puede ser un criterio importantísimo. En retorno científico (prestigio, citas, relevancia...) no es lo mismo llegar de los primeros a un campo que llegar al final de la fiesta a pisar el confeti.
- Revisiones laxas. Una de las características de MDPI es pagar a sus revisores con descuentos para futuras publicaciones en ese grupo. Eso altera el sistema de incentivos. Ya no es "vamos a ver si este manuscrito vale la pena, si se puede mejorar", sino "con unas cuantas revisiones me saco un buen pellizco para mi próxima publicación". Si el objetivo es el manuscrito, aceptas revisar aquellos en los que te sientes competente. Si el objetivo es tu propia investigación, la probabilidad de que aceptes lo qeu te echen es mucho mayor.
Recognition of Reviewers: reviewers who provide timely, thorough peer-review reports receive vouchers entitling them to a discount on the APC of their next publication in any MDPI journal, in appreciation of the work done.
Para esto no puedo ofrecer números, pero las revisiones que yo he recibido de esas revistas suelen ser de las más breves en número de palabras.
Otro indicador es la presencia de revisores ultraprolíficos en revistas MDPI. Tomemos este perfil de Publons.
Creo que podemos acordar que haber revisado más de 100 manuscritos para una revista o más de 150 en un solo año es llamativo. Seguro que habrá quien puede hacer cada una de estas revisiones de forma brillante, pero muchos (entre ellos, yo) no podríamos dedicarle el nivel de atención que requiere la valoración de cada texto.
- Alta probabilidad de publicación. Aquí es importante señalar que el porcentaje de manuscritos rechazados de una revista apenas informa de nada. El mercado se regula y, si una revista tiene fama de coladera, ahí se enviarán textos tan malos que pasarán a ser rechazados y se aumentará ese porcentaje. La clave es la probabilidad de rechazo para un nivel de calidad determinado. Eso es complicadísimo de determinar. Así que solo queda que acepten mi idea desde mi experiencia: a igual calidad, en MDPI entran más fácil, más rápido. También pueden aceptar la lógica económica: si cobro por cada artículo, ¿por qué no aceptar muchos?
- Amplitud de temas aceptados. Uno podría creer que estoy hablando de revistas 'de nicho', a tenor de sus títulos. Sin embargo, no es así. Con ganas, todo puede ser 'public health' y poder entrar bajo el paraguas temático de la revista. Solo hay que revisar los artículos ahí publicados.
- Sistema piramidal con ventajas para los editores de volúmenes especiales. 'Hazte editor y te hacemos precio a ti y a varios de tus amigos'. Tal cual. Hace unos pocos meses me llegaba una invitación para editor un volumen especial. Nótese: ellos me enviaron a mí, yo no los busqué a ellos. MDPI hace un buen trabajo de captación de editores.
As the Guest Editor, you will be offered an opportunity to publish one of your papers free of charge in open access form, and the chance to provide 10 discount vouchers (200 CHF each) to the authors that you invited for your Special Issue. You can receive one additional article processing charge waiver, that you can use to publish a review yourself;
Y a partir de ahí tú captas a investigadores para que envíen sus manuscritos. Una característica de estos volúmenes invitados es que los editores pueden publicar sin restricciones en los mismos. 'Yo me lo edito, yo me lo como'.
- Funcionamiento en cuartiles/factor de impacto alineado con las demandas de la ANECA. A modo de ejemplo, uno de mis artículos publicados en una revista MDPI. La revista que más ha publicado sobre ese tema, la revista de referencia, distinta a donde optamos por publicarlo, habitualmente estaba en Q3. Un artículo en Q3 pesa mucho menos en el CV, por más que sea la revista en la que sea más razonable publicar. ¿Queréis cuartil? Buscaré cuartil.
Respecto al factor de impacto, reconozco que a mí se me abre un enorme interrogante. Si los medios de control de la revista parecen pobres, ¿cómo es que sus artículos son relativamente bien citados? Una revista-coladera, en principio, no debería ser una revista capaz de atraer atención.
¿A qué precio se publica ahí?
Quien paga por esto es la sociedad en su conjunto y los propios investigadores. A ojo me sale que en 2020 se han ido como unos cinco millones de euros españoles a MDPI, aunque no es tan fácil de estimar, dados los posibles descuentos. Es mucho dinero del sistema científico español ahí metido.
El precio a pagar es reputacional también. La palabra 'depredador' ha rondado desde hace años al grupo MDPI. Igualmente se ha hablado de prácticas dudosas. Por ejemplo:
En estas condiciones, ¿por qué publicas tú mismo en revistas MDPI?
Porque paso de lastrar mi propia carrera o la de mis compañeros si las reglas del juego son estas. Al menos intento no engañar a nadie: yo en ocasiones publico en revistas malas. Creo que una mayoría de lo que tengo en MDPI no es por ello malo: a veces ha sido por necesidad de colocarnos rápido en un tema o presentar producción para un proyecto concedido. Pero no tengo problemas en decir claramente que estoy jugando a un juego que me parece podrido. Sirva este post, en parte, para ilustrar cómo el sistema de evaluación de los científicos en España genera distorsiones. Se nos va el dinero en publicar en medios cuestionables y los grupos de investigación con medios y voluntad para ello tienen mucho más sencillo colocar a su personal en puestos de profesorado, conseguir más proyectos...
Dicho todo esto: Sí, muchso de tus compañeros están publicando en Sustainability o en International Journal of Environmental Research and Public Health.
SOURCE-ID (21100240100 ) AND ( EXCLUDE ( DOCTYPE,"er" ) ) AND ( LIMIT-TO ( PUBYEAR,2019) )