viernes, diciembre 14, 2018

Evaluar para para potenciar el aprendizaje, evaluar para certificar

Los métodos y requisitos de la evaluación probablemente tienen más influencia en cómo y qué aprenden los estudiantes que cualqueir otro factor individual. Esta influencia es posible que tenga mayor importancia que el impacto de los materiales de enseñanza. Boud (1988)
Los modos de evaluación determinan en gran medida la dinámica y resultados de aprendizaje de nuestro alumando. Lo hace a varios niveles:
-  El nivel de aprendizaje conseguido por nuestro alumnado va a venir determinado en una importante medida por el nivel exigido, tanto en su amplitud (extensión del temario) como profundidad (nivel de abstracción). Si para aprobar resulta suficiente como memorizar sin comprender, no puede sorprendernos que una parte de los estudiantes... memoricen sin aprender.
- Los ritmos de aprendizaje y trabajo guardan relación con los ritmos de evaluación. Si un alumno se juega el 100% de su calificación en un único examen final, estamos potenciando el aprendizaje no distribuido, la concentración del esfuerzo en un periodo concentrado de tiempo. Estas estrategias intensivas de aprendizaje, si bien pueden llevar a aprobar, generar un ritmo de caída de los conocimientos mayor que el aprendizaje distribuido.
- La posibilidad de regulación de las estrategias de aprendizaje por parte del alumnado cae si su único de saber que está afrontando mal la tarea es con un suspenso en la calificación final. Un estudiante no debería enterarse de que está afrontando mal el reto de una asignatura cuando ya es demasiado tarde, en la misma medida que un profesor no debería ser consciente de todo lo que sus alumnos no están entendiendo cuando ya está como para despedirse de ellos.

La evaluación, por otro lado, sirve también para acreditar aprendizajes. Una vez nuestros estudiantes aprueban los créditos requeridos consiguen un título que les abre las puertas a algunas profesiones reguladas o que, sencillamente, los señalan como profesionales supuestamente competentes. Aprobar a los estudiantes sin que hayan conseguido lo que se esperan que consigan (competencias, objetivos...) es no cumplir con la función social de la universidad.

En este post quiero mostrar una propuesta de evaluación con la que llevo trabajando durante siete años en una asignatura y que recientemente hemos extendido a otra más del área. Con este propuesta se busca potenciar el aprendizaje, al mismo tiempo que se hace el sistema robusto en términos de fiabilidad y validez. Describiré en primer lugar el contexto de la asignatura en la que lleva más años implantado y después el sistema con su justificación educativa.

Contexto
La asignatura Metodología de la Investigación III del grado de Psicología de la Universidad de Zaragoza es una asignatura de seis créditos ECTS, lo cual se traduce en una dedicación esperable por parte del alumnado de unas 150 horas. Son 14-15 semanas docentes con dos horas de teoría y dos de prácticas (cuatro grupos de prácticas). Eso lleva a unas 60 horas presenciales y deja unas 90 de no presenciales, que quedarían en unas 6 horas/semana de trabajo no presencial.

Es la última del área de conocimiento Metodología de las Ciencias del Comportamiento. Si bien gran parte de los títulos de grado de Psicología en España cuenta con, al menos, cuatro asignaturas del área de Metodología, en la UZ se optó por solo tres.

Al acabar esta asignatura, y con ello la formación del alumnado obligatoria en el campo, se espera que sean capaces de:
- Manejar y traducir entre los tres lenguajes estadísticos: el teórico, el numérico y el gráfico.
- Manejar el software estadístico SPSS como para poder realizar análisis de datos y darle interpretación a los resultados.
- Leer e interpretar textos científicos con contenido metodológico, como artículos o manuales.
- Diseñar, ejecutar y redactar un proyecto de investigación.




Resumiendo el temario, se cubren contenidos de regresión lineal, análisis de varianza y psicometría.

En líneas generales, se asume que hoy por hoy la mayor parte de los cálculos estadísticos se realizan mediante programas especializados (en nuestro caso, SPSS). Por ello, no se busca desarrollar la capacidad de cálculo estadístico o de manejo de tablas estadísticas o similares, sino la capacidad de razonamiento, inferencia, interpretación y traducción de los diferentes lenguajes estadísticos.


Un elemento clave de contexto es la dedicación docente que el profesorado está dispuesto a asumir. En tanto que no hay guías rígidas al respecto, esto queda como decisión personal. Habitualmente esta asignatura la ha asumido en su totalidad un único profesor (quien esto escribe). Yo entiendo como razonable dedicarle a la docencia aproximadamente el 35%-40% de mi jornada laboral, teniendo en cuenta que estoy involucrado en gestión. Entre unas cosas y otras, eso supondría dedicarle unos tres días, tres días y medio por semana a esta asignatura en durante el segundo cuatrimestre.

Sistema de evaluación
Hay cinco elementos de valoración para la calificación final. Estos son:
- Prácticas semanales.
* Cada semana se plantea una práctica de entrega en la semana siguiente. Son prácticas en gran medida de manejo e interpretación de salidas del SPSS. Encajan con las habilidades que se van a demandar en el examen final, de tal modo que el alumnado no tiene incertidumbre sobre el nivel de exigencia y no hay tiempo invertido en tareas que, en términos de exigencia posterior por parte del profesor, van a resultar irrelevantes.
* Las prácticas semanales suponen un volumen de trabajo como para que el completarlas requiera trabajo en el aula y fuera de ella. Si como profesores queremos que trabajen fuera del aula (y según la métrica de los créditos ECTS, deberían), hemos de darles trabajo, orientarles en qué trabajo han de completar. Y, en la medida de lo posible, hemos de distribuir ese trabajo a lo largo de todo el cuatrimestre. Teniendo en cuenta cómo suelen otros profesores estructurar sus asignaturas, a mí me permite demandar trabajo del alumnado en meses que habitualmente son más relajados en otras materias (los primeros del cuatrimestre).
* Las prácticas también podrán entregarse sin ninguna restricción en el caso de no ir a clases de prácticas. La asistencia es opcional. Hacer la asistencia obligatoria a mí me parece una aberración. Que quien vaya a clase sea porque algo le estamos aportando y lo considere adecuado. Si se está perdiendo algo, ya suspenderá. Si no se está perdiendo nada, ya nos enteraremos de la utilidad de nuestras clases cuando veamos que los absentistas consiguen aprobar.
* Cada una de las prácticas entregadas se valorará con un 0 o un 1. El 0 corresponde a la no entrega de la práctica o a la entrega por debajo de los mínimos de elaboración. El 1 para la entrega de una práctica trabajada. (Trabajada, no necesariamente todo correcto. Existiendo Moodle y tutorías, un práctica con preguntas sin ni siquiera intentarlo no cuenta como trabajada). El objetivo de las prácticas semanales es potenciar el trabajo continuado, no la evaluación perpetua. La evaluación perpetua, simplemente, no es viable para mí como profesor. A final de cuatrimestre he recibido más de 500 prácticas. Entrar a una corrección más pormenorizada desbordaría el tiempo que le puedo dedicar a la asignatura. Aparte, la experiencia señala que una parte del alumnado no atiende al feed-back que se le suministra. En el caso de que alumnos lo soliciten, en tutorías se les desarrolla y corrigen sus prácticas. Esto no niega que las correcciones pormenorizadas y próximas en el tiempo a la entrega sean deseables, pero estamos en el mundo de lo viable, no de lo deseable.
* Las prácticas podrán ser individuales, en pareja o en tríos. Hay que dotar de flexibilidad el sistema para que los estudiantes encuentren acomodo en él.
* Las bases de datos con las que se trabaja son bases de datos reales, no simuladas, sobre contenidos que aspiran a ser relevantes para el alumnado. Un problema habitual en las asignaturas de Metodología es la percepción de que la estadística es, en realidad, algo ajeno a la Psicología. Se busca reducir esa idea y potenciar la idea de que la Metodología es una de las herramientas que construye Psicología.
*  La nota máxima para la calificación final (de 0 a 10) que se puede obtener mediante prácticas es de 1, donde el 1 se obtendrá en el caso de haber entregado todas las prácticas posibles y el 0 si no se ha entregado ninguna.

- Examen parcial.
* Durante el cuatrimestre se realiza un examen parcial. Alumnos y profesor han de poder monitorizar su ejecución antes de que sea para todos demasiado tarde. Adicionalmente, ayuda a que el carga de trabajo y estudio se distribuya a lo largo del cuatrimestre.
* Este examen parcial cubre contenidos vistos en clases de teoría. Con 100 alumnos o más y un solo profesor, un examen con ordenadores no resulta fácilmente asumible a mitad de cuatrimestre.
* Se trata de un examen con preguntas de elección múltiple. Intento ajustar los procesos cognitivos requeridos para solucionar los ítems a los objetivos de aprendizaje establecidos en la guía de la asignatura. Por tanto, como entre los objetivos no se incluyen verbos como "memorizar" las preguntas no se pueden resolver únicamente a través de memoria. ¿Implica esto que el alumnado no ha de memorizar? En ninguna medida. Si uno evalúa procesos de alto nivel, se entiende que para llegar a ellos se han de haber cubierto los de nivel más bajo.
* El alumnado dispone a través de Moodle de los exámenes parciales de cursos anteriores y ejemplos de ítems corregidos y explicados. Cuando el alumnado se sorprende por lo que se le pregunta en un examen, señal de que el proceso de evaluación está mal diseñado. Los estudiantes tienen derecho a saber con detalle qué se les va a pedir.
* El examen no libera materia. Uno de los mayores retos docentes no es que el alumnado sepa A, sino que sepa cuándo toca A y cuándo toca B. Si en el parcial cubro regresiones y para el final solo dejo ANOVAs, no voy a poder evaluar si saben a qué contexto y pregunta de investigación corresponde cada técnica, porque el temario asignado a cada examen ya les da la respuesta. Por otro lado, liberando materia no se ayuda a distribuir el aprendizaje, sino a hacer dos intensivos. Estudiar dos veces, para parcial y para final, es lo que ayuda a una mayor retención a largo plazo.
* El parcial es opcional. El único momento en el que yo puedo requerir asistencia es en el examen final. Hay que respetar la autonomía del alumnado.
* La nota en el parcial solo se tiene en cuenta en el caso de que suba nota con respecto al examen final. Si en el parcial un alumno obtiene un 6 sobre 10 y en el final un 8 sobre 10, es como si el parcial no hubiera existido. Si el patrón es el contrario, sí que se cuenta el parcial. En otras palabras, el resultado del parcial no puede penalizar. Esto aligera de posibles quejas ("el día del parcial yo tenía médico" = no pasa nada) y, más importante, contribuye a que el alumnado al que le ha ido mal en el parcial no se descuelgue por sentir que ya ha perdido nota de la calificación final. Si el parcial va bien, nota que uno saca; si va mal, oportunidad de aprendizaje.
* La nota máxima que se puede obtener en gracias al parcial es de 2 puntos en la calificación final.

 - Examen final.
* En las convocatorias oficiales de junio y septiembre se realizará un examen con dos partes, una con preguntas de elección múltiple y la otra con ordenador (obtención de resultados con SPSS e interpretación de los mismos). Se intenta garantizar con este examen doble el encaje evaluación-docencia-objetivos de aprendizaje.
* El alumnado tiene disponibles exámenes de convocatorias anteriores. La última práctica semanal y las preguntas de algunas previas son preguntas que han sido de examen. Se intenta reducir la incertidumbre y acomodar la docencia a los objetivos docentes.
* Se busca que haya concordancia entre objetivos y demandas para responder las preguntas. Así, por ejemplo, se puede preguntar "¿cuántos hombres y cuántas mujeres han respondido a la encuesta?" (con la correspondiente base de datos), pero no "obtén la distribución de frecuencia de la variable sexo", puesto que la segunda opción no evalúa sin capaces de traducir lenguaje natural a lenguaje estadístico.
* Para cada examen disponen de un tiempo máximo de dos horas y media. En general, suelen terminar antes. Esto permite realizar exámenes de una extensión suficiente como para posibilitar una fiabilidad suficiente y, al mismo tiempo, que se evalúe conocimientos y no velocidad de ejecución, peusto que esto segundo es objetivo de la asignatura.
* Tanto para teórico como para práctica pueden llevar una hoja con las notas manuscritas que consideren oportunas. Con esto se busca reducir su posible ansiedad y les anima a estructurar en un resumen/esquema toda la asignatura. Dado que las preguntas aspiran a cubrir contenidos de nivel no memorístico, que puedan llevar notas no lleva a que puedan aprobar solo a partir de ellas. (En el parcial pueden llevar notas por solo una cara.)
*  Cada parte irá evaluada sobre 2 puntos de la calificación final sobre, para dar una nota conjunta de hasta 4 puntos. En el caso de no haberse presentarse al examen parcial o de que la nota del examen final sea superior a la del parcial, no se tendría en cuenta la nota del parcial y el examen final valdría hasta 6 puntos.
* En el caso de no presentarse a alguno de las dos partes del examen, la calificación en la asignatura será de 'No presentado'. Dado que tiene efectos en términos de convocatorias consumidas o acceso a aprobado por compensación curricular, se señala claramente esto.

- Informe de investigación.
* Los estudiantes eligen un tema sobre el que investigar, realizar una breve revisión de conocimientos previos (y, para ello, leer los artículos más relevantes al respecto), diseñar un sistema de recogida de datos, conseguir los datos, analizarlos y redactar un informe según el estilo APA. De esto modo, intento compensar el que casi siempre en las asignaturas de Metodología el alumnado está respondiendo a preguntas ajenas con bases de datos ajenas. Se les da la oportunidad de plantearse sus propias preguntas, pensar cómo responderlas y cómo gestionar el proceso entero. Hay alumnos que quieren comerse el mundo de la Psicología y que se sienten constreñidos si no les damos opciones de salir con sus preguntas, sus curiosidades, sus intereses. Para algunos estudiantes, es el modo de acercarse a temas sobre los que tal vez vayan a especializarse más adelante, contactar con colectivos, salir de la facultad...

* Al igual que con las prácticas semanales, le entrega puede ser individualmente, en parejas o tríos. Ni para todas las prácticas semanales ni para este trabajo se pide que la composición de los grupos sea estable en el tiempo. Forzar estabilidad genera problemas para ellos y para el profesorado.
* Esta tarea, en comparación con las otras, es más desestructurada, en el sentido de que no se les exige en igual medida trabajo continuado o se les establece un formato rígido. Esto se debe a dos motivos. Por un lado, que mi disponibilidad de tiempo llega hasta donde llega. Segundo, que entiendo que en sí mismo es bueno que tengan que abordar tareas más abiertas. Como de costumbre, se les ofrece todo el apoyo que demanden a través de tutorías.
* De esta tarea se derivan hasta 3.3 puntos de la calificación final sobre 10. Se evalúan introducción, método, resultados, discusión y conclusión y formato APA, más ambición y originalidad del trabajo.

- Lectura de libros.
* Se proponen libros y artículos de corte más teórico junto con un análisis a realizar sobre ellos. El objetivo es que lean contenidos de corte metodológico, pero no ceñidos al temario.
* Este apartado puede llegar a sumar hasta 1 punto a la nota final, con medio punto por cada trabajo.

Por tanto, el alumnado puede llegar a obtener en la asignatura 1 (prácticas semanales) + 2 (parcial) + 4 (exámenes finales) + 3.3 (informe de investigación) + 1 (libros) = 11.3 puntos en total.


En cualquier caso, para aprobar es necesario obtener y satisfacer los dos requisitos siguientes:
- Una nota final en toda la asignatura igual o superior a 5. Con esto se busca tapar el posible coladero a quienes van a rebujo en los grupos de prácticas. Uno puede no hacer nada en las prácticas semanales y en el trabajo de investigación y que otros pongan su nombre. De ese modo, tendría acceso hasta a cuatro puntos, cerca del cinco. En general, quien no ha trabajo de forma más o menos continuada en la asignatura alcanza resultados muy bajos en el examen, de tal modo que le queda cerrada la puerta del aprobado. Entiendo que los beneficios del trabajo grupal (apoyo y aprendizaje entre compañeros, menor carga para el profesorado) superan los posibles costes (descontrol en la evaluación individual), especialmente cuando se exigen unos mínimos en lo puramente individual (examen final).

- Una nota en el examen final superior a X (sobre 10) en ambas partes del examen. X es igual a 5 menos 0'05 por el número de prácticas semanales entregadas. Por tanto, quien no entregue ninguna práctica tendrá que sacar al menos un 5 en ambas partes, y por cada práctica entregada baja el listón del filtro. Con esto se quiere garantizar que se satisfagan unos mínimos en teoría y práctica. Que el punto de corte se reduzca según las prácticas entregadas lleva a recompensar el trabajo (que es mucho) semanal. Este sistema, ayuda, también, a justificar y suavizar las revisiones de calificaciones. Si un alumno suspende porque tiene un 4.9 en el examen teórico, señal de que no entregó ni dos prácticas semanales, que era algo que tenía fácilmente a su alcance. Si el punto de corte lo tenía en 4.3 y ha suspendido, señal de que tenía menos que esa nota, que es fácilmente defendible que es tan baja como para no poderse conceder el aprobado.

Gracia a este sistema de evaluación, el nivel de exigencia en la asignatura conseguimos que sea alto, puesto que el trabajo distribuido y guiado ayuda a alcanzar cotas más elevadas; se trabajan varios niveles, desde más pautados a abiertos y creativos; la calificación es bastante robusta, fiable y válida. Espero que alguna de estas ideas pueda servir de ayuda a quien se esté planteando diseñar un sistema para sus asignaturas.


martes, noviembre 20, 2018

Competencias, resultados de aprendizaje y contenidos

Bien para ANECA o para fichas de asignaturas o similares, los profesores hemos de realizar la descripción de las competencias, resultados de aprendizaje y contenidos de nuestras materias. La propia ANECA, en los documentos de apoyo que facilita, admite, con otras palabras, que los matices entre diferentes elementos son escasos y resulta fácil armarse un follón. En este post voy a compartir qué entiendo que es cada elemento.

Competencias
En general, estas vienen dadas por la memoria de verificación del plan de estudios, luego hay poco margen de actuación. La idea central de las competencias es en la actividad educativa se busca que los estudiantes sean capaces de algo y ese algo ha de dejar rastro de algún modo. Ese algo es suficientemente genérico como para dar cabida a multitud de objetivos y modos de enseñanza. Resultados, contenidos, actividades formativas, metodologías docentes y sistemas de evaluación van concretando desde las ideas generales hasta el día a día docente. Este modelo facilita la reflexión sobre nuestra tarea educativa al explicitar las preguntas clave, desde "¿en qué se les ha de notar a mis estudiantes que han cubierto de forma satisfactoria la asignatura?" hasta "¿cómo voy poder detectar si los estudiantes son capaces de lo que habrían de ser capaces?".

Resulta importante señalar que una competencia en la materia es algo que he de trabajarse en la asignatura y ha de evaluarse en la asignatura. Por ejemplo, una competencia del tipo "blablabla... trabajar en equipo" no es poner al alumnado a trabajar en grupo, sino enseñarles a trabajar en grupo y evaluarles sobre ello. Hay que trabajar las fichas de las materias para que quede lo más claro posible que el resto de apartados son coherentes con las competencias integradas. Lo que hay que evitar es que parezca que las competencias se han tirado al aire y han caído medio al azar en las materias. Formalmente las competencias son vinculantes: hemos de formar para ello, con el aprobado estamos acreditando su adquisición. Por eso, en un plan de estudios bien diseñado a cada asignatura debería corresponderle relativamente pocas competencias y todas las competencias han de ser trabajadas por, al menos, una asignatura.

Ejemplo de competencias en Psicología del Desarrollo Humano

Los ejemplos que incluyo corresponden a una Memoria de Verificación recientemente aprobada y son parciales, no se incluye la información completa de cada materia.
  • Definir el concepto y contenido la Psicología Evolutiva y e identifica los límites de la disciplina como ciencia.
  • Identificar los métodos y técnicas de investigación fundamentales y su aplicabilidad a la Psicología Evolutiva a través de los diferentes diseños o técnicas específicas.
  • Utilizar las principales fuentes documentales de la disciplina.
  • Identificar las características básicas del desarrollo humano en las etapas del desarrollo, en sus aspectos de normalidad y anormalidad y cuestionar críticamente sus propios estereotipos y teorías implícitas sobre el desarrollo humano a partir de esta base conceptual.
  • Explicar la naturaleza de los contextos del desarrollo (familia, escuela, iguales) y su influencia en el proceso evolutivo.
  • Saber utilizar técnicas de observación y evaluación del desarrollo humano.
  • Identificar adecuadamente problemas del desarrollo en casos prácticos, y proponer actividades de intervención básicas para optimizar el desarrollo.
  • Elaborar informes de investigación y desarrollar habilidades de expresión y comunicación oral de los mismos tanto a un público especializado como no especializado.

Resultados de aprendizaje
Los resultados de aprendizaje son lo que sigue a "el estudiantes es capaz de...". Vamos avanzando en el nivel de concreción. Probablemente, la mayor de los profesores nos movemos razonablemente bien en este nivel y no tanto en el competencial. El salto de los resultados de aprendizaje a los contenidos y la evalución habría de ser bastante directo: Si el estudiante ha de ser capaz de X, por tanto es razonable que se evalúe de tal modo y los contenidos sean tales.

Ejemplos de resultados de aprendizaje incorrectos
  • Los que empiezan por "conocer". "Conocer" es una palabra maldita en la planificación docente por inconcreta (no porque al modelo de competencias no le guste el conocimiento, como quieren caricaturizar algunos). ¿Conocer las técnicas de entrevista es poder listarlas, poder describir su origen histórico, poder discriminar cuándo es apropiado cuál...? ¿Conocer estadística es poder nombrar a quienes desarrolló los diferentes coeficientes de correlación, poder ejecutar los análisis oportunos con una base de datos ajena para dar respuestas a ciertas hipótesis, ser capaz de interpretar críticamente información estadística en un artículo científico...?
  • "Desarrollar una serie de competencias relativas a la autonomía en la adquisición de conocimiento": Este resultado es, casi, que "pasarán cosas buenas". No aterriza lo suficiente. Uno no podría desarrollar los contenidos con solo acceso a resultados de aprendizaje como este.
  • "Familiarizarse con las diferentes patologías de la personalidad": Más o menos lo mismo.
  • "Fomenta el interés por el estudio científico de la conducta": Es el equipo docente quien fomenta el interés, luego no puede ser un resultado de aprendizaje, dado que es el estudiante el protagonista de los resultados.
Ejemplo de resultados de aprendizaje en Psicología del Desarrollo Humano
  • Definir el concepto y contenido la Psicología Evolutiva y e identifica los límites de la disciplina como ciencia.
  • Identificar los métodos y técnicas de investigación fundamentales y su aplicabilidad a la Psicología Evolutiva a través de los diferentes diseños o técnicas específicas.
  • Utilizar las principales fuentes documentales de la disciplina.
Ejemplo de resultados de aprendizaje en Metodología de las Ciencias del Comportamiento
  • Elaborar un informe científico que permita responder a una pregunta de investigación
  • Ejecutar e interpretar los análisis estadísticos oportunos según la naturaleza de los datos y la pregunta teórica a responder
  • Identificar los métodos de investigación empleados en un artículo y sus limitaciones
  • Exponer la base científica de teorías psicológicas y localizar sus fuentes de apoyo
  • Diseñar investigaciones que permitan responder a preguntas teóricas relevantes en el campo de la psicología
  • Argumentar las ventajas de la investigación como fuente de conocimiento
  • Diferenciar entre diferentes niveles de prueba y su valor relativo como guía de la práctica profesional
  • Listar los requisitos éticos que han de cumplirse en el proceso investigador
  • Escoger las herramientas de medición más apropiadas según las características de los individuos a evaluar y el contexto de evaluación
  • Leer críticamente el manual de un test

Contenidos
Los contenidos son lo que sigue a "para ello vamos a ver/trabajar en...". Lo más fácil es interpretarlo como el temario de las asignaturas. Una ficha estará bien construida en la medida en la que los contenidos sean casi 'evidentes y necesarios' dadas las competencias y resultados previamente definidos.

Desde mi punto de vista, lo más sencillo es listado de puntos y subpuntos. Listado limitado, no decenas de puntos. Pensemos que estos documentos que elaboramos son vinculantes y no queremos atarnos de pies y manos por sobredefinir ciertos elementos de nuestra docencia.

Los contenidos han de ser coherentes con los apartados anteriores. Hemos de hacer el ejercicio de ver si, efectivamente, si estamos haciendo posible la adquisición de las competencias planteadas con la materia tal y como se plantea.

Ejemplos de contenidos incorrectos
  • "Dentro del programa formativo del título del Grado en Psicología, y con el objetivo básico de formar profesionales con los conocimientos científicos necesarios para comprender, interpretar y analizar el comportamiento humano, se enmarca la asignatura de Evaluación psicológica. Esta disciplina de la psicología científica se ocupa de la exploración y análisis del comportamiento de un sujeto o grupo de sujetos con diferentes y variados objetivos aplicados, tales como la descripción, diagnóstico, selección, predicción, cambio y valoración de los tratamientos aplicados. Se trata de una actividad orientada a objetivos, una actividad de solución de problemas. Nuestra disciplina estudia los procesos de evaluación del comportamiento y sus determinantes, siempre con unos propósitos definidos, desde unos supuestos metodológicos sobre la adecuación de las estrategias a seguir y las técnicas a utilizar, desde un planteamiento de evaluación con un fin de intervención y desde un interés por la valoración de resultados.": Rollo. Las guías tienen dos misiones. Una, ayudarnos como profesores y, así, también a nuestros estudiantes, a conectar mejor objetivos-medios. Dos, comunicar mejor los para qués y cómos de nuestras asignaturas. Los ejercicios literarios no aportan.
  • "Las distintas asignaturas que forman parte de esta materia ofrecen a su alumnado la posibilidad de conocer  la evolución de nuestra disciplina desde la perspectiva de los tratamientos psicológicos utilizados desde distintas perspectivas teóricas.": Rollo.
Ejemplo de contenidos en Psicología del Desarrollo Humano
  • Introducción al estudio del desarrollo humano: historia, conceptos y métodos de investigación.
  • Desarrollo físico, cognitivo y socioafectivo en la etapa prenatal.
  • Desarrollo físico, cognitivo y socioafectivo en los recién nacidos y primeros años.
  • Desarrollo físico, cognitivo y socioafectivo en la niñez temprana (3-6 años).
  • Desarrollo físico, cognitivo y socioafectivo en la niñez intermedia (6-12 años).
  • Desarrollo físico, cognitivo y socioafectivo en la adolescencia.
  • Desarrollo físico, cognitivo y socioafectivo en la adultez media.
  • Desarrollo físico, cognitivo y socioafectivo en la adultez tardía.
Ejemplo de contenidos en Metodología de las Ciencias del Comportamiento
  • La ciencia como sistema de generación de conocimiento
  • Ética de la investigación
  • Psicología basada en pruebas
  • El proceso de investigación
  • Metodologías descriptivas
  • Metodologías experimentales y cuasi-experimentales
  • Metodologías ex post facto
  • El informe científico
  • La estadística en el proceso investigador
  • Organización y representación de datos
Parte del profesorado ha trabajado excesivamente centrado en los contenidos de las asignaturas. Señal de ello, por ejemplo, eran las asignaturas impartidas en varios grados y en las que no había ningún ajuste según perfil del alumnado. ¿Los estudiantes de Trabajo Social, Derecho o Relaciones Laborales han de conocer exactamente lo mismo de Derecho Laboral? ¿Los estudiantes de Magisterio o de Psicología han de conocer exactamente lo mismo de Psicología Evolutiva? Si lo que marca a una asignatura es su título, que lleva invariablemente a unos contenidos, sí. Desde el punto de vista competencial, es probable que lo que unos y otros necesiten ser capaces de hacer varíe y, con ello, nuestros modos y objetivos docentes.

lunes, octubre 08, 2018

¿Por qué cobran poco los Asociados?

Sí, los Asociados cobran poco. Realmente, casi todo el profesorado que cumple con su contrato cobra poco. Es discutible si, de hecho, los Asociados son los peor pagados. Voy a intentar justificar el porqué de su bajo sueldo.

Desde mi experiencia, se puede distinguir entre cuatro tipos de Asociados según su motivación básica para aceptar el puesto:
  1. El Asociado con aspiraciones de carrera académica. Está en su particular travesía del desierto mientras acumula méritos docentes e investigadores y a la espera de que se convoque alguna plaza. Los baremos para entrar en la rueda de los tiempos completos están tan mal construidos que es complicado pasar filtros sin pasarse unos años en puestos de este tipo.
  2. El Asociado disfrutón. Le gusta la docencia, el contacto con el alumnado, el ambiente universitario... Considera que colaborar en la formación de las nuevas promociones es un bien por el que implicarse.
  3. El Asociado de tarjeta de visita. Su plaza en la universidad es un medio para poder incluir en la firma del correo electrónico y bajo su nombre en las tarjetas de visita 'Profesor en la Universidad...'. Hoy por hoy la universidad mantiene prestigio y para ciertos proyectos profesionales sale a cuenta esa vinculación, que abre puertas o permite aumentar tarifas.
  4. El Asociado de la nómina. Para este el dinero que cobra fin de mes ya le compensa. Vale que no es mucho, pero en sus actuales condiciones va bien.
Desde luego, estas motivaciones son combinables. Pero, si nos fijamos, veremos que solo para uno de ellos la remuneración es clave, para el Asociado de la nómina. Cuando tenemos que unos cuantos caminos para optar por ser Asociado están relativamente desvinculados del sueldo, es normal que este no sea especialmente alto.

Y eso le podemos sumar el problema general de todo el profesorado: nos contratan para impartir docencia, no para impartir buena docencia. Si la calidad se entiende como trivial, no tiene sentido pagar por ella ni buscarla. Esto no ayuda tampoco a subir las retribuciones.

viernes, septiembre 14, 2018

El triste panorama de la adaptación de instrumentos de medida al castellano

Voy a caricaturizar (o no) el proceso de adaptación de un cuestionario desarrollado en inglés al español. Este trabajado dará pie a una publicación en una revista de más o menos prestigio y, con suerte, será altamente citado.

- Localizamos el cuestionario a traducir, adaptar y validar. El cuestionario XYZ. Pasamos por alto que ya se han desarrollado versiones nuevas y que van por el XYZ versión 3.
- Como carecemos de conocimientos psicométricos adecuados, no somos capaces de detectar que ya en el propio artículo de presentación del XYZ se vaía que ese cuestionario funciona entre mal y regular. Pero el peso de la letra impresa nos desborda y, total, ¿quién se lee con detalle la sección de Resultados?
- Traducimos con nuestros conocimientos de inglés macarrónicos el cuestionario al español. En el manuscrito diremos que hemos realizado un proceso de retrotraducción y blablabla, cuando hemos ido para adelante con el Traductor de Google y nuestras santas narices.
- Cambiamos el orden de los ítems con respecto a los cuestionario original porque, a fin de cuentas, ¿por qué va a ser importante respetar íntegramente el instrumento de medida tal y como se diseñó y presentó?
- Cambiamos las opciones de respuesta, que en nuestra cabeza suenan mucho mejor otras. Mantener la comparabilidad internacional en la medida de lo posible es lo de menos y para chulos nosotros.
- Reclutamos una muestra de 200 estudiantes universitarios y les pasamos nuestro cuestionario a validar más otros tres o cinco cuestionarios más. En realidad no tenemos expectativas teóricas sólidas de cómo tendrían que relacionarse los diferentes constructos, pero es lo que se suele hacer y da volumen al manuscrito.
- Aplicamos técnicas psicométricas que se sabe desde hace décadas que están desfasadas. No podemos entender los matices de medición del artículo original, vamos a poder aplicarlos nosotros... Y, claro, no vamos a invertir tiempo para ponernos al día en los métodos estadísticos necesarios para nuestra investigación.
- Con nuestra pequeña muestra y nuestra psicometría cubierta de polvo, decidimos empezar a quitar ítems a placer con respecto al instrumento original, lo que antes se supone que medía X ahora pasa a medir Y... Claro, porque nuestra muestra y nuestros análisis son más sólidos que toda la investigación previa sobre este test.
- Redactamos el manuscrito, que estos de psicometría se escriben casi con plantilla. Y lo conseguimos publicar.

¿Y qué ocurre tras esto? Dos problemas principales. Por un lado, que aquellos que quieren realmente medir bien los constructos que se supone que puede medir el test XYZ (mejor, en su última versión) no cuentan ahora mismo con una correcta adaptación al castellano del test. Una mala medición no te la apaña ninguna estadística, por más que uno intente a posteriori aplicar las técnicas más punteras. Si has medido mal estás básicamente tirado. Por otro lado, que aquellos que quieren adaptar con algo más de rigor los instrumentos a nuestro idioma se encuentran con serios problemas para publicar su estudio porque una mala validación ya es excusa para decir que el nuevo estudio no es novedoso y no aporta nada suficientemente relevante.

Indudablemente, estoy generalizando y simplificando. Hay grandes artículos de adaptación o desarrollo de instrumentos por parte de investigadores españoles. Pero considera que el problema es tristemente mucho más amplio de lo que deberíamos permitirnos.

viernes, julio 06, 2018

Justificando calidad de artículos para sexenios CNEAI

Recientemente me han concedido dos sexenios de investigación nacionales. Las instrucciones, razonablemente, no acaban de ser del todo cerradas, puesto que no es sencillo describir en el BOE qué es un artículo de calidad y relevante. Se ofrecen pistas, pero si uno no tiene experiencia y cuenta con muchas personas a su alrededor con quienes consultar, le pueden surgir dudas. La intención de este post es servir de ayuda a quienes se enfrenten a este trago administrativo más adelante.

Lo que dice el BOE
Permítanme que empiece por una obviedad: es conveniente leerse con detalle la normativa oficial. Revisen el BOE, subrayen... En el campo de la Psicología, la información clave era esta:
A título orientativo se considera que para poder alcanzar una evaluación positiva en las áreas de Psicología, al menos cuatro de las cinco aportaciones serán artículos publicados en revistas que cumplan los criterios del apartado 3.a) [artículos en revistas indexadas en el Journal of Citation Reports] y tres de ellos publicados en una revista de impacto, situadas en el primer y segundo cuartil de su categoría.

[...]

La valoración final del tramo dependerá del conjunto de las aportaciones presentadas. Se valorará especialmente el que sean significativamente relevantes las citas que éstas hayan podido recibir.
Hay que acreditar (a) que la revista en la que se publicó la contribución está bien posicionada en los rankings JCR, (b) que las citas recibidas por el artículo son relevantes en número y origen, y (c) que la contribución personal en esa publicación es importante.

Acreditando calidad y relevancia
La solicitud de sexenios es un juego masivo en el que los académicos españoles jugamos a saber de cienciometría y biblioteconomía. Como, en realidad, estas no son para la mayor parte de nosotros nuestras áreas de especialización, voy indicar a qué recurrí yo, como 'amateur' en estas lides.

En la plataforma de la CNEAI se han de rellenar dos apartados: Breve resumen e Indicios de calidad. En mi caso, el Breve resumen lo dividí en dos apartados: el propio resumen del artículo y mi contribución personal a cada contribución. En el resumen asumí que quien me leía no tenía por qué tener conocimientos especializados sobre mis temas de investigación, así que describí mínimamente el campo de trabajo y los problemas a los que estaba intentando responder. Consideré oportuno enmarcar el artículo para un posible comisión evaluadora con perfiles de lo más variados. Después ya entré en lo específico del artículo: qué se hizo y qué se consiguió. Respecto a la contribución personal, creo que lo más oportuno es intentar ceñirse siempre lo más fielmente a la realidad, siempre y cuando esta suene creíble. Si uno va de quinto autor, difícilmente va a poder contar que idea original, recogida de datos, redacción... fueron tareas propias, aunque a veces y en algunos equipos de trabajo eso pueda ocurrir.

Para el apartados de Indicios de Calidad yo me apoyé en cuatro fuentes:
  1. Web of Science.
  2. Scopus.
  3. Google Scholar.
  4. El software Publish or Perish, gratuito.
Vemos varios ejemplos de contribuciones que incluí. Primero, un artículo en Q2 del que soy primer autor y con un número adecuado de citas. Este mérito encaja en lo demandado por el BOE, por lo que el difícil, más que justificar bien el mérito, sería no saberlo justificar adecuadamente. Pero me permitirá indicar la estructura que empleé.

INDICADORES DE CALIDAD DE LA REVISTA:
Factor de impacto (JCR 2008): 1.372
Posición relativa:
- Categoría: MATHEMATICS, INTERDISCIPLINARY APPLICATION
- Posición: 25/76
- Cuartil: Q2
INDICADORES DE CALIDAD DEL ARTÍCULO:
Citas:
- Web of Science (WoS): 16
- Scopus: 17
- Google Scholar: 40
Se responde a tres preguntas: (a) ¿cuál es el factor de impacto de la revista?, (b) ¿cuál es la posición de esa revista en su campo de referencia?, y (c) ¿cuántas citas ha recibido?. En este caso, y tal y como es habitual, las citas recogidas por Scholar son mayores que las de Scopus y estas superiores a las de WoS.

Hecho esto quería por justificar que el número de citas es destacable. El criterio comparativo de las revistas es fácil, puesto que el propio JCR incluye categorías por campo científico, ya que se entiende que no se cita al mismo ritmo en Matemáticas, Medicina, Psicología... Sin embargo, si 16 citas para un artículo de psicología matemática (simulación estadística de psicometría) son muchas o pocas no es fácil de establecer, salvo que uno lleve muchos años en esa área y ya tengo el ojo muy hecho.

Para solventar esta problema recurrí a Publish or Perish. Este programa permite fácilmente consultar Web of Science y ofrece la información más compacta y más fácilmente exportable a otras programas como Excel, R...

El artículo que estaba sometiendo a evaluación lo publicamos en el British Journal of Mathematical and Statistical Psychology en el año 2008. Entendí, pues, que lo más oportuno era comparar el número de citas recibidas por mi artículo con aquellas con los que resulta más comparable, el resto de artículos publicados el mismo año en la misma revista. El factor de impacto no puede darnos esta información. Repito, extiendo y pongo en cursivas: saber el número de citas que ha recibido un artículo y el factor de impacto de una revista no permite saber si ese artículo destaca como artículo muy o poco citado. Por suerte, hay programas que nos permiten esta comparación. Le pedí a Publish or Perish que me mostrara todos los artículos de tal revista y tal año. De ese modo puede justicar:
En el año 2008 se publicaron 27 contribucionales en la revista British Journal of Mathematical and Statistical Psychology. Con 16 citas en WoS, este artículo se sitúa como el quinto más citado de ese año (periodo de citación desde publicación hasta ahora; consulta a 29/01/2018 a través del software 'Publish or Perish'), esto es, aproxidamente el 82% de los artículos de ese año han recibido menos citas.
El mensaje hasta ahora es algo como "eh, que no solo aporto un artículo en Q2 (cumplo), sino que además es un artículo altamente citado si me comparo con quienes probablemente sea más oportuno compararse".

Igualmente, intenté mostrar que las citas recibidas eran citas de calidad. Una aproximación para ello es señalar que las citas provienen de revistas de un perfil alto en el área de conocimiento:

Este artículo ha sido citado en revistas clave del área como Applied Psychological Measurement, Educational and Psychological Measurement o Journal of Educational Measurement.
Y ya para acabar, introduje una valoración personal de cuál es la contribución científica aportada. Mientras que en el apartado de Breve resumen señalé más "esto es lo que hay" aquí introduje un "esto es lo que supuso y aportamos".

Como señalaba, con el artículo comentado era fácil documentar que se satisfacían las demandas. Paso ahora a un artículo publicado en una revista Q3. En la medida de lo posible, intenté repetir estructura en las cinco contribuciones. Creo que es algo que me ayudó a mí y que puede facilitar la tarea de la comisión.

INDICADORES DE CALIDAD DE LA REVISTA:
Factor de impacto (JCR 2009): 0.714
Posición relativa:
- Categoría: SOCIAL SCIENCIES, MATHEMATICAL METHODS
- Posición: 27/38
- Cuartil: Q3
Y ahora el momento de intentar 'levantar' una revista en Q3.
- Comentario sobre cuartil:
Es común que las revistas de métodos matemáticos tengan un factor de impacto relativamente bajo. Esto supone que pequeños cambios de año en año en el número de citas recibidas se pueden traducir en grandes saltos en la posición relativa de una revista en la categoría. Así, por ejemplo, esta revista ha estado en Q2 (ventana de revisión: más y menos tres años con respecto a año de publicación, esto es, 2006-2012) los años 2006-2007 y 2010-2012. Por ello, la posición en Q3 representa la excepción.
Según el Scimago Journal Rank, Applied Psychological Measurement ocupó en el año 2009 el Q1 en las categorías 'Psychology (miscellaneous)' y 'Social Sciences (miscellaneous)'.
Traducido: "Sí, es un Q3, pero es porque el artículo salió un año excepcional. Y, si en lugar de mirar al JCR miramos a otros rankings la revista destaca en posiciones altas".

Y después paso a justificar por qué la revista escogida era la apropiada para un artículo sobre rests adaptativos informatizados, al margen de su factor de impacto y posición relativa:
- Comentario sobre relevancia de la revista:
La revista Applied Psychological Measurement es la revista de refencia en el desarrollo de métodos en tests adaptativos informatizados. Prueba de ello es que, si buscamos en Web of Science ' TOPIC: (computerized adaptive test*)' en el periodo 2006-2012, encontramos 290 resultados. La revista con mayor número de publicaciones en este periodo sobre tests adaptativos es, efectivamente, Applied Psychological Measurement, con 30 publicaciones. La siguiente es Quality of Life Research, con 26, si bien ahí no se suelen publicar métodos, sino aplicaciones. Por tanto, considero que la revista elegida era la más apropiada considerando el público objetivo.
El mensaje es "Si tú quieres hablar con la comunidad investigadora sobre tests adaptativos informatizados, tu revista objetivo, especialmente en aquellos años, tenía que ser donde se envió el manuscrito. Otras revistas tal vez luzcan más, pero no son revista de referencia para este microtema."

Adicionalmente, este artículo contaba con el marchamo de calidad de la Asociación Europea de Metodología:
Por este artículo recibí el año 2008 el 'EAM [European Assocation of Methodology] award for the best article of a junior scientist'. Información disponible en:
http://www.metheval.uni-jena.de/projekte/eam/ann_awards.php
También incluí número de citas recibidas, comparación con otros artículos en esa revista tal año...

Y ya para acabar, lo que reseñé en una tercera contribución:
INDICADORES DE CALIDAD DE LA REVISTA:
Factor de impacto (JCR 2016; último disponible): 9.436
Posición relativa:
- Categoría: STATISTICS & PROBABILITY
- Posición: 1/124
- Cuartil: Q1
INDICADORES DE CALIDAD DEL ARTÍCULO:
Citas:
- Web of Science (WoS Core Collection): 0
- Scopus: 0
- Google Scholar: 15
Por el momento, según WoS y Scopus este artículo no ha sido citado. Hay que tener en cuenta que su publicación es reciente (doce meses). Igualmente, el número de citas esperadas en un futuro es bajo. La librería catR será especialmente útil a gente orientada a la práctica psicométrica. Las personas que realizan estudios de simulación y evaluación a gran escala (aquellos que en mayor medida publican artículos científicos) es común que desarrollen su propio software. Pese a ello, considero que este artículo es relevante puesto que contribuye a intentar reducir la amplia distancia entre los últimos avances psicométricos en tests adaptativos y la práctica fuera del ámbito de la psicometría especializada. Como señal de ello, desde el 1 de mayo de 2014 (primer primero de mes tras publicación de la versión 3 de catR, cuando me incorporo en el su desarrollo) hasta el 30 de enero de 2018, la librería catR ha sido descarga del repositorio CRAN 27643 veces, según las estadísticas extraídas con la librería dlstats.
Esto lo escribí porque sabía que para este sexenio tenía las espaldas bien cubiertas. Desde que escribí esto hasta ahora, pese a mis escasas expectativas, el artículo ha sido citado tres veces, que para mis estándares es mucho. Pero lo importante es que pude intentar documentar la relevancia a través de un indicador no estándar: el número de veces que se ha descargado una librería del programa R. Una librería con más de 27000 descargas difícilmente puede ser etiquetada como no relevante, creo.

Ideas principales
Conviene documentar que la revista presenta un factor de impacto alto dentro de su categoría de referencia y que el artículo ha sido citado de forma importante. Para ello, una opción cómoda es el software Publish or Perish.

Cuando los modos más fáciles de documentar esto fallen, se puede recurrir a otros argumentos. La argumentación ganará en tanto que recurramos a información objetiva. Que una cierta revista es la de referencia en un ámbito de investigación se puede acreditar a través de búsquedas de ciertas palabras clave. Que una revista excepcionalmente bajó de cuartil se puede mostrar tomando un cierto periodo de referencia en torno al año de publicación...

Los modos de justificación no agotan las opciones disponibles y, seguro, hay sistemas mejores de hacerlo. Yo no creo haber conseguido los sexenios por estas estrategias, sino por haber estado dispuesto a perder años y solo solicitar aquellos en los que cumplía sin lugar a dudas las exigencias. (Me han apaleado tanto que no tengo el ánimo para muchas más noticias negativas.)

En cualquier caso, espero que esto le puede ayudar a alguien más adelante, aunque solo sea como modelo a romper y generar uno propio. Y les animo a emplear el software Publish or Perish.

Unas notas finales
Los sexenios son una aberración bibliométrica.

Que trabajes durante seis años sin saber cuáles serán los estándares que te pedirán tras ese periodo es una aberración.

Que quienes trabajamos en instituciones más aisladas no tengamos acceso a cauces de información informales ("oye, tú que estas en la comisión, ¿sabes realmente qué piden, al margen de lo que ponga en el BOE") es comprensible, pero injusto.

Que quienes nos hemos pasado años y años sin poder promocionar y, con ello, sin poder pedir sexenios hayamos de perder años de sexenio porque los criterios han ido subiendo mientras nos teníamos que quedar parados sin poder tramitar nada es injusto. Un CV que en el 2008 podía dar sin problemas para un sexenio --señal de que estábamos haciendo lo que se nos podía exigir dada la madurez de la ciencia en España por entonces-- en el 2018 da para envolver bocatas. Como los Titulares y los Catedráticos no pasan por esto puesto que ellos han podido pedirlos durante los años de la crisis y del gobierno del PP destroza-universidades, no se habla de este tema.

lunes, julio 02, 2018

Los catedráticos son un problema en la universidad española

Vamos con cuatro historias y una conclusión.

Primera historia. Horas docentes en la UAB.

En el curso 2010/2011 la UAB decidió 'boloñizar' el modo de contabilizar las horas de dedicación docente del profesorado. Puesto que para el alumnado las horas de referencia dejaban de ser las de aula y pasaban a ser las de dedicación a las asignaturas, parecía razonable introducir un cambio en la misma línea para el profesorado.

El profesorado a tiempo completo dedicaba, como máximo, 240 horas por curso a la docencia en el aula. Ahí no se incluían ni las horas de preparación de clases ni de supervisión y corrección al alumnado. El tiempo que uno invierte a la docencia está por encima de las horas de pura presencia en el aula.

Con el nuevo modelo ya no se repartían entre el profesorado exclusivamente horas de aula, sino horas de actividad docente. Empezando con un número de horas muy superior a 240 se asignaba a cada profesor tareas que podían ser de presencialidad en el aula, preparación o supervisión. Con este modelo resultaba posible cumplir con la parte docente del contrato como profesor sin apenas pisar clase.

Tengamos en cuenta que la docencia se distribuye según categoría laboral. Aquellos con plaza más consolidada y de mayor rango escogen antes. En caso de empate este se deshace según antigüedad. Por tanto, los catedráticos son quienes antes eligen la docencia.

¿Qué ocurrió en alguna ocasión? Un catedrático rellena su encargo docente con un grupo de prácticas y muchas horas de supervisión de trabajos; un profesor de nivel más bajo lo hace con cinco grupos de prácticas y apenas supervisión de trabajos. Cuando llega el momento de corregir los trabajos el catedrático dice "que cada cual corrija los trabajos de los grupos que ha llevado".

¿Y qué ocurre en ese momento? Que te los comes. Te comes esos trabajos aunque formalmente no tengas horas asignadas para ello.

En mi caso no me comí esas horas. Cuando dejé la UAB hubo quien se dedicó a arrastrar mi nombre por el barro intentando dificultad que consiguiera plaza en otra universidad.

Segunda historia. Guías docente en la UZ.
En la Universidad de Zaragoza las asignaturas han de presentar una sola guía docente, la cual está disponible vía web desde antes de la matrícula del alumnado. Es un documento vinculante. Esto genera problemas cuando varios profesores comparten asignatura. Pueden compartirse asignaturas porque la misma se imparte en varios grupos dentro de una misma facultad o porque la misma asignatura se puede cursar en más de un campus o facultad.

Hay varios modos de completar una guía docente cuando las asignaturas son compartidas por varios profesores. Una opción es elaborar un documento de mínimos que después cada profesor desarrollará por su cuenta para su propio grupo. Otra opción es iniciar un proceso colaborativo para llegar a consensos. Otra opción es dejar claro que aquí el profesor de mayor rango eres tú y que la guía la elaboras tú. Los cambios en la guía implican que 'tu' asignatura lo mismo era mejorable y muy probablemente te supongan un poco más de trabajo, al menos en un primer momento. El profesorado de menos rango sabe que es altamente probable que se cruce con ese profesor de rango superior en futuras promociones.

¿Y qué ocurre en ese momento? Que te comes la guía tal y como la ha diseñado el catedrático. He visto multitud de proyectos de innovación docente interesantísimos fracasar porque el profesorado que estaba intentando sacarlos adelante no tenía margen para incluir estas iniciativas en la guía docente.

Tercera historia. Reducción de horas docentes en la universidad española.
Hasta hace poco los tiempos completos de la universidad, excepto algunas figuras contractuales poco frecuentes, compartíamos el techo de horas de dedicación docente en el aula: 240 horas por curso. Dependiendo de las condiciones de cada departamento, no todos se aproximaban a este techo. Hay departamentos que se dimensionaron para unos tiempos de gloria de número de alumnos matriculados que hace tiempo que quedaron atrás. Ahí viven bastante bien.

El Real Decreto-ley 14/2012, de 20 de abril, cambió ligeramente estas reglas.
2. Con carácter general, el personal docente e investigador funcionario de las Universidades en régimen de dedicación a tiempo completo dedicará a la actividad docente la parte de la jornada necesaria para impartir en cada curso un total de 24 créditos ECTS.
No obstante, la dedicación a la actividad docente de este personal podrá variar en función de la actividad investigadora reconocida de conformidad con el Real Decreto 1086/1989, de 28 de agosto, sobre retribuciones del profesorado universitario, y que haya dado lugar a la percepción del complemento de productividad previsto en el artículo 2.4 del mismo, y atendiendo a las siguientes reglas:
a) Deberá dedicar a la función docente la parte de la jornada necesaria para impartir en cada curso un total de 16 créditos ECTS quien se encuentre en alguna de las siguientes situaciones:
– Profesores Titulares de Universidad, Profesores Titulares de Escuelas Universitarias o Catedráticos de Escuela Universitaria con tres o más evaluaciones positivas consecutivas, habiéndose superado la más reciente en los últimos seis años.
– Catedráticos de Universidad con cuatro o más evaluaciones positivas consecutivas, habiéndose superado la más reciente en los últimos seis años.
– En todo caso, cuando se hayan superado favorablemente cinco evaluaciones.
b) Deberá dedicar a la función docente la parte de la jornada necesaria para impartir en cada curso un total de 32 créditos ECTS, quien se encuentre en alguna de las siguientes situaciones:
– Que no haya sometido a evaluación el primer período de seis años de actividad investigadora o que haya obtenido una evaluación negativa de dicho período.
– Que hayan transcurrido más de seis años desde la última evaluación positiva.
Se abría la puerta a una mínima penalización a quien no presentara sexenio vivo y se premiaba considerablemente a quien acumulara sexenios. Es importante señalar que estos cambios solo afectan a quienes ya han tocado el cielo del funcionariado.

El personal laboral de igual desempeño investigador que un Titular o Catedrático no solo cobra menos, sino que ha de impartir más horas de docencia. Los casos de profesorado que hayan visto incrementadas sus horas docentes son infrecuentes, al menos en mi universidad.

Después cada universidad ha traducido en normativa interna de modos distintos este Real Decreto. En el caso de la Universidad de Zaragoza se crea un sistema que supone que las horas máximas para funcionarios se fijan en 300 por curso y, a partir de ahí, se van reduciendo [PDF]. Se puede ver reducido el encargo docente o bien por méritos docentes o bien por investigadores, ampliando los supuestos del Real Decreto. En general, hay que liarla bastante para no quedar por debajo de 240 horas, que es el encargo que le corresponderá de forma inevitable a un Ayudante Doctor o un Contratado Doctor.

Como esto son vasos comunicantes y más en tiempos de crisis, para que unos vivan mejor otros han de vivir peor. A igualdad de desempeño laboral, solo por el hecho de ser funcionario, el encargo de horas de docencia es menor para Titulares y Catedráticos. En algunos departamentos, en aquellos en los que había algo de holgura, esas reducciones se han transferido y han supuesto un incremento de la docencia de los no funcionarios. Esto se ha hecho ampliando los supuestos del Real Decreto, que se pensó para penalizar a quienes no investigaban, y aquí ha pasado a ser un "barra libre para todos (los funcionarios)".

Pueden imaginar cuál era la categoría laboral de quienes negociaron y redactaron la normativa que regula esto.

Cuarta historia. Evaluación de profesorado en la UZ.
Tal y como he señalado en un post, la evaluación de profesorado en la UZ también ha estado durante años pensada para dar aprobado general. Recientemente han cambiado los criterios. Ya no se basará (se supone) en exclusiva en las encuestas al alumnado. Se ha creado una Comisión Técnica de Evaluación de la actividad docente del profesorado de la UZ.

Como criterio para poder optar a esta Comisión se fijó que los candidatos habían de presentar al menos seis evaluaciones positivas destacadas. Dada la demora con la que se tramitan estas evaluaciones, esto supone que los miembros de esta Comisión han de llevar, al menos, siete años trabajando en la UZ. Esto supone en muy gran medida dejar casi sin opciones a poder participar en esta Comisión a personas con un recorrido laboral excepcional pero de reciente incorporación. Siete años en la misma universidad y todavía no estás suficiente integrado como para poder optar a según qué puestos. Estas Comisiones pasan a nutrirse de funcionarios en mayor medida de lo que podría ser sin estos filtros no justificados.

Una conclusión.
Todas estas historias comparten un hilo común: ideas que podían ser adecuadas para la mejora de la universidad que son reventadas su implantación no resiste que un colectivo concentre el poder y las pueda acabar modelando a su gusto.

La gestión universitaria está copada por funcionarios, especialmente Catedráticos. Veamos, por ejemplo, los Estatutos de la UZ en lo relativo a la composición del Consejo de Gobierno:
Artículo 38
d) Dieciséis miembros del Claustro elegidos por los siguientes sectores distribuidos de la forma que se indica y entre ellos: ocho representantes del personal docente e investigador, de los cuales seis serán funcionarios doctores, seis representantes de los estudiantes y dos representantes del personal de administración y servicios.

De ocho representantes del PDI seis serán funcionarios doctores. Es más fácil para un estudiante activo en tareas de representación ser miembro del Consejo de Gobierno que para un Ayudante Doctor o un Contratado Doctor.

Los no funcionarios somos objetos pasivos de regulación. Nuestra voz no está presente. Se asume que los profesores funcionarios están imbuidos por el don de la gestión y cargados de buena voluntad. Saben qué interesa a todo el PDI. Se entiende que no hay conflicto de intereses entre los funcionarios y los no funcionarios.

No, los funcionarios no saben qué nos interesa, cuáles son las necesidades de los no funcionarios. Y no existe la comunidad universitaria. En muchas ocasiones son intereses son contrapuestos según categoría laboral. La tarta es finita y no hay para todos.

Cuando fijan cómo se reparte la docencia, cómo se reduce el encargo docente, quién entra en qué cargos, cómo se escriben las guías de las asignaturas, cuál será el baremo para acceder a plazas... lo hacen asumiendo que o bien son seres puros capaces de abstraerse de sus conveniencias y vislumbrar las mejores opciones para todos o bien que sus intereses son los que han de prevalecer.

Podría ir poniendo ejemplo tras ejemplo. La normativa de sexenios es claramente insensible a las necesidades y problemas de los no funcionarios. Los criterios de acreditación son insensibles a las necesidades y problemas de los no funcionarios. Son, parcialmente, un juego en el que los que ya están dentro cierran la puerta a quienes quieren entrar. La distribución de proyectos de investigación sigue reglas que construyen y benefician, oh sorpresa, a quienes las redactan: funcionarios, principalmente Catedráticos.

Y no es que los Catedráticos sean personajes siniestros, ni muchísimo menos. Son (somos) todos piezas que respondemos al sistema de incentivos y castigos según el reparto de poder y las normas del juego. Querer acumular poder y querer que las reglas te beneficien es de lo más normal. E incluso las personas cargadas de la mejor de las intenciones difícilmente van a poder regular de forma óptima si no tiene acceso a cierta información que solo pueden ofrecer los involucrados.

Al menos, no nos engañemos. Aceptemos que hay quienes apenas tocan poder, que eso es independiente de su desempeño laboral y que quien accede al poder intenta perpetuarse y sacar rendimiento por ello. En la universidad quienes están más cerca del poder y lo acumulan son los Catedráticos. No se puede asumir buena voluntad por su parte. La voz de un porcentaje amplísimo del Personal Docente e Investigador está silenciado en la gestión universitaria. El poder ha de estar repartido para equilibrarse.

miércoles, febrero 14, 2018

Los auténticos mal pagados en la universidad española

Esta es la norma básica que define la figura de un profesor Asociado:
Artículo 53. Profesores Asociados.

La contratación de Profesoras y Profesores Asociados se ajustará a las siguientes reglas:

a) El contrato se podrá celebrar con especialistas de reconocida competencia que acrediten ejercer su actividad profesional fuera del ámbito académico universitario.

b) La finalidad del contrato será la de desarrollar tareas docentes a través de las que aporten sus conocimientos y experiencia profesionales a la universidad.

c) El contrato será de carácter temporal y con dedicación a tiempo parcial.

d) La duración del contrato será trimestral, semestral o anual, y se podrá renovar por períodos de igual duración, siempre que se siga acreditando el ejercicio de la actividad profesional fuera del ámbito académico universitario.


Así, pues, un Asociado es un profesional que trabaja a tiempo parcial en la universidad. Son los profesores que, al menos según la filosofía con la que se creó el puesto, traen un poco de 'mundo exterior' a la universidad. Para poderlo hacer, es necesario que tengan trabajo fuera del ámbito universitario.

El colectivo de los profesores Asociados ha conseguido colar en el discurso social que son unos maltratados. En el editorial de El País de 2018/02/12 se lee "La precariedad se concentra en la categoría de los profesores asociados". El mismo medio publicaba ese mismo día una noticia con titular "Profesor universitario desde 300 euros".

Suele ser recomendable cruzar los discursos sociales con los números. Veamos las tablas salariales de mi universidad, la de Zaragoza. En la UZ hay profesores Asociados con tres, cuatro o seis horas de docencia a la semana, con mismo número de horas para tutorías. Por tanto, a los Asociados con menor dedicación se les exigen seis horas a la semana de presencia en la facultad. Por ese tiempo cobran 324 euros, esto es, 54 euros por hora semanal (que no es lo mismo que salario por hora). Este es sueldo antes de impuestos.

Un profesor Ayudante Doctor está contratado a tiempo completo. Es la figura contractual más baja de entre las disponibles para los tiempos completos. Es una persona con doctorado y acreditada por alguna agencia evaluadora como la ANECA. Teniendo en cuenta lo complicado que es ahora mismo entrar en la universidad, en muchos casos ofrecen CVs investigadores comparables a los de muchos funcionarios. A un Ayudante Doctor le corresponden tareas docentes (unas ocho horas a la semana de clase más seis de tutorías), de investigación y de gestión universitaria. Según contrato, unas 37.5 horas a la semana en total. En su primer año, el salario bruto de un un Ayudante Doctor en la UZ es de 1825.63 euros. Esto da un sueldo por cada hora semanal de 48.68 euros, un 10% menos que un profesor Asociado.

Por tanto, si hablamos de profesores mal pagados en la universidad española (los sueldos de la UZ no se diferencian especialmente de lo común en otras universidades), quienes están ahora mismo peor pagados son los Ayudantes Doctores, personas que poseen un doctorado y que, a diferencia de los Asociados, no tienen otra fuente de ingresos más allá de la universidad.

Muchos de los Asociados que están promoviendo las movilizaciones y presencia en medios son, igualmente, doctores. Son doctores que, queriendo ser Ayudantes Doctores, no lo han conseguido. O bien no tienen CV para ganar una plaza o bien no están por la labor de cambiar de ciudad y se obstinan en intentar meter cabeza en departamentos en los que no se genera empleo a tiempo completo.

Ahora mismo, quienes no son capaces de ganar una plaza a tiempo completo están quejándose de lo mal pagados que están cuando, en realidad, su salario por hora es superior al de Ayudantes Doctores. Para los falsos Asociados (aquellos sin recorrido solvente fuera de la universidad que trabajan por poco dinero a la espera de que les abran la puerta de atrás para entrar a tiempo completo) el sueldo/hora es mejor para quienes han aportado CV como para ganar un concurso o han hecho la maleta y se han ido a otra ciudad a trabajar. Se están quejando quienes ocupan una plaza que, por norma, no ha de ser la única ocupación laboral, la única fuente de ingresos.

En algún momento tendríamos que hablar de cómo los Asociados están consiguiendo entrar en medios de comunicación para transmitir un discurso que no se sostiene al mirar el salario/hora y cómo aquellos con un perfil académico de mayor nivel aguantan con peor retribución y nadie les escucha, porque ni se quejan.

viernes, julio 21, 2017

Discutir con 'escépticos'

Hablar con gente del movimiento escéptico, autodeclarada escéptica, es frustrante. Voy a relatar, sin capturas de pantalla ni copia-pega literal, un par de experiencias. Prefiero esta aproximación para poder incluir en solo dos ejemplos mis impresiones acumuladas tras años de tuiterismo.

Experiencia 1 
- Quienes consumen y quienes ofertan pseudoterapias son estúpidos, incultos, sin educación reglada - tuitea un escéptico de pro. Este tuit recibe risas y decenas de retuits.
- Las pseudoterapias son consumidas principalmente por personas con altos niveles educativos. Muchos de quienes las ofertan tienen títulación universitaria - respondo yo.
- No vas a negar que las pseudoterapias son una estafa, ¿verdad? - me pregunta alguno de los de la tribu escéptica. FAV, FAV, FAV a ese tuit. El escéptico de pro retuitea.
- Que la pseudoterapias sean una estafa es irrelevante si estamos hablando sobre el nivel educativo de usuarios y ofertantes - digo para intentar encauzar la conversación.
- ¿Tú estás a sueldo de Boiron? ¡A ver cuál es tu formación! - FAV, FAV, FAV.
- Uh, psicólogo, todos sabemos que la psicología no es una ciencia.


Experiencia 2
Primer acto
- Un bachiller me ha preguntado si estudiar Físicas o psicología y me ha dado la risa - comenta un divulgador escéptico.
- Perdona, ¿podría aclararnos por qué le da la risa? - inquerimos algunos psicólogos.
- Es que me he leído dos libros y vaya con la psicología... Voy a escribir el post definitivo que va a hundir la psicología para siempre.

Segundo acto
El divulgador publica un post en el que anima a los bachilleres a seguir su vocación para decidir sus estudios... pero, aparentemente, solo si se plantean estudiar Físicas. Si piensan cursar Psicología, mejor nos echamos unas risas a su costa.

Tercer acto
El divulgador publica un post analizando un artículo malo de psicología, publicado en una mala revista. Acaba su texto lanzado dardos gratuitos a los psicólogos. "No os piquéis, psicólogos, que tenéis la piel muy fina".
- Hola, medio donde se ha publicado el post, ¿podrías aclarar por qué permites publicar posts con ataques gratuitos? - pregunto yo por tuiter.
- ¿Sabes que la psicología tiene tiene un serio problema de replicabilidad? - responde otro escéptico patrio de pro.
- Perdone, ¿qué tiene esto que ver con el ataque innecesario? - respondo mientras dudo si se habrán borrado todos mis posts sobre las miserias de la psicología de los últimos años.

Los escépticos son gente (sí, es evidente) y como tales están sujetos a los sesgos comunes a todos. Los escépticos cambian el tema de discusión cuando les conviene, vuelven siempre al asunto que les resulta más cómodo (que sí, que ya tenemos claro que la homeopatía y el reiki no funcionan; podéis hablar de otro tema también cuando una conversación no vaya por donde os interesa), y, en general, se dan apoyo casi incondicional entre ellos. Niegan la especialización del conocimiento. Desconocen las bases de la teoría de la ciencia. Difunden selectivamente aquello que sirve de apoyo a sus ideas previas. Ser escéptico es, básicamente, un identificación con un grupo que te permite sentirte superior, apuntarte a una cruzada desde delante de tu ordenador, y recibir apoyo. Y todo mientras se siguen proclamando 'escépticos'.

Y sí, yo también tengo sesgos. Puede que mi elaboración sea parcial, que mi memoria esté trabajando para dejarme en buen lugar o quién sabe qué. En la medida que puedo intento poner cortapisas a estos sesgos, pero agradeceré cualquier comentario que me ayude a mejorar en estas reflexiones.

domingo, julio 02, 2017

La selección de profesorado universitario: Atrapados entre dos malos modelos

En este post voy a intentar mostrar cómo los dos modelos de selección de profesorado (valoración sin baremos públicos preestablecidados o valoración con baremos) llevan a serios problemas.

Valoración sin baremos y la endogamia

La endogamia universitaria en España es un problema, pero no porque seleccionar al de dentro sea un error en sí mismo, sino porque lo es no escoger el mejor candidato. Para que haya endogamia negativa es necesario que se den dos condiciones:

1.- Que se presente más de un candidato y que uno de ellos no sea 'de la casa'.
2.- Que a igualdad de méritos sea más probable que gane el 'de la casa'.

Durante años el mercado laboral académico en España ha estado en expansión. Considerando que las universidades apenas tienen autonomía para recompensar el mérito y que, con algo de paciencia, en general iban saliendo plazas, había poco motivo para postular a una plaza en una universidad distinta de la de formación. ¿Para qué cambiar de centro si vas a tener que empezar casi de cero sin apoyos en tu nueva universidad, si tu ritmo investigador se va a ver frenado de forma importante? ¿Para qué liarte si es probable que convoquen una plaza en breve? En un sistema en el que crecer con una línea propia de investigación apenas tiene reconocimiento, hay pocos motivos para cambiar. Por esto, entre otras razones, creo que el punto (1) -más de un candidato- ha sido infrecuente.

Durante probablemente todavía más años las plazas se han convocado con nombre y apellidos. Los tribunales de selección han tenido el margen de poder valorar a voluntad. Se aceptaba que los tribunales seleccionaban, en una importante medida, a quien querían y según los criterios que deseaban. Ha habido cátedros que han premiado lealtades por encima de capacidades y los ha habido que han trabajado para hacer crecer en calidad a su departamento a través de las nuevas incorporaciones. Me contaba recientemente una compañera cómo en su anterior puesto de trabajo el catedrático ignoraba por sistema las publicaciones en la revista XYX cuando valoraba CVs, puesto que era bien sabido que en esa revista el criterio básico para publicar era ser 'colega de': eran publicaciones que hablaban más de tu red de contactos que no de tu capacidad.

No es descabellado pensar que la proporción de personas que seleccionan buscando la excelencia general son menos que quienes premian la fidelidad o contribución a la excelencia propia. Si me dan a elegir entre un compañero que vaya camino del Nobel él solo y otro que me ayude en mis articulillos, tengo buenas razones para escoger al segundo.

Esta flexibilidad para ajustar baremos (si llegaban a existir) a conveniencia lleva al punto (2): sesgo importante hacia el candidato interno. Desde luego, este segundo punto alimenta el primero.

A esto hay que sumarle que para ciertos niveles de profesorado resulta necesario presentar abundante documentación, más proyectos docentes, investigadores... Calculen unos cuantos cientos de páginas. Métanle una defensa pública de todo esto. El coste de elaboración en tiempo y desgaste emocional es importante. Lanzarse a la búsqueda de una plaza que, se supone, no es para ti es una inversión importante para una probabilidad de éxito baja.

El coste de presentarse a la que, en los corrillos, no es tu plaza puede ser alto. Hasta hace muy poco, solicitar una plaza que no llevaba 'tu nombre' era visto como una agresión. El modelo de promoción y acceso es parecido a la cola de la panadería y no nos cae bien quien intenta. Incluso con candidatos muy brillantes para un tribunal resulta muy sencillo plantear preguntas irresolubles para quienes se presentan. Al de la casa se le pregunta "¿cuánto es 2+2?" y al que se quiere tumbar "¿cuál es su opinión del artículo que se publicó ayer en Nature?". Si te quejabas, eras marcado como una persona problemática y a evitar.

Resumiendo: (a) no había mucha necesidad de presentarse fuera de la universidad de origen, (b) no había incentivos como para justificar el coste del cambio, y (c) no había muchas opciones de conseguirlo.

Valoración con baremos y la fiabilidad interjueces

Cada vez más personas intentan una carrera académica y el número de nuevos puestos de trabajo no es capaz de absorber todas estas vocaciones. Gente muy capaz, con CVs en investigación a los 30 años que hace una década daban para acreditarse de catedrático, ahora pugnan por conseguir plazas de Ayudante Doctor. Algunas de estas personas, después de años en el extranjero, ya no son para nadie el candidato de la casa.

Esto lleva a que progresivamente vaya siendo mayor la cantidad de académicos que se presentan a puestos donde antes solo había una candidatura. Antes no ganar una plaza era "tú ahora no, espera a la siguiente". Ahora el mensaje es "tú no, vete a pasar hambre". La motivación para reclamar, llevar a tribunales ha aumentado.

Quiero pensar que a esto le podemos sumar una mayor madurez como empleados públicos y como país. En cualquier caso, varias son las fuerzas que empujan a hacer más transparentes (y aquí digo "más transparentes", que no es lo mismo que "transparentes") los concursos de acceso. También aumentan los casos que llegan a tribunales.

Por ello, también vamos yendo a un modelo de selección que se aproxima a la que podría realizar un administrativo con una hoja de cálculo. Especialmente para niveles iniciales de profesorado los baremos de selección van siendo cada vez más detallados, publicados antes de la convocatoria. "Cada artículo en revista de primer cuartil en la que el candidato sea primer autor: tantos puntos". "Cada dos meses de estancia en el extranjero predoctoral: tantos puntos". Los tribunales necesitan paciencia y buena vista para navegar entre decenas de papeles.

Desde luego, este sistema tiene sus ventajas. Considero que es gracias a un baremo de este estilo lo que me permite seguir trabajando ahora mismo en una universidad española. Cuando se acabó mi contrato en mi anterior universidad, algunos de mis compañeros se encargaron de intentar hundir mi nombre en el barro para dificultarme mi colocación posterior. Como con este baremo hablaban mis méritos y no mi reputación, tuve opciones.

Pero también tiene sus inconvenientes, algunos de ellos poco vistos y sobre los que quiero llamar la atención. En el modelo anterior el candidato seleccionado ganaba por goleada al siguiente o, de no hacerlo, el segundo tenía poco motivo para reclamar. Quedar el segundo con puntos de distancia era recibir el mensaje de "espera, que ya llegas; solo necesitas no meter la pata con algo como, por ejemplo, reclamar". Con un sistema basado en hoja de cálculo se dan dos problemas:
1.- Se aumenta la probabilidad de que ciertos candidatos jueguen a piratear el sistema. Un indicador de desempeño público puede ser un indicador rápidamente quemado.
2.- Se aumenta la probabilidad de que los diferentes candidatos se lleven pocos puntos unos de los otros.

Me centro en el segundo aspecto. Baremar, puntuar CVs es una tarea de medición. Salvo que la fiabilidad sea perfecta -y no, no lo será-, una nueva baremación por otros miembros de tribunal o al cabo de cierto tiempo llevará a puntuaciones distintas. En una plaza de psicología está claro que un artículo publicado en el Journal of Psychology ha de ser puntuado, ¿pero y si el mismo contenido se publica en el Journal of Psychiatry? Es común penalizar aquellos méritos que no se ajustan al perfil de la plaza. Incluso en perfiles abiertos ("docencia e investigación propias del área"), qué es o qué no es del área es un juicio. Imaginemos un candidato que se presentan con 320 horas de docencia por año en su puesto anterior, pese a que la ley señala que el límite son 240 horas. ¿Se han de puntuar las horas de más o no? Los modelos próximos a automatización siguen demandando a expertos en contenido que los saquen adelante. Y eso los hace reclamables.

Añadamos a esto que un concurso de acceso es un acto administrativo regulado por una profusa normativa. La mayor parte del profesorado no maneja con soltura esa normativa. Cualquier error en esta parte, destinada a dar seguridad legal al proceso, supone que este es.. reclamable.

De este modo, con el nuevo modelo ganar una plaza no equivale a ganar una plaza. Cada vez son más las impugnadas y que, tras una reevaluación, bien sea interna en la universidad o, con los años, por un tribunal de justicia, llevan a otra persona a ganar. Esto implica una incertidumbre enorme en la resolución.

Piense que usted está en este momento trabajando en la Universidad Buenísima de Por Ahí (UBPA). Le comunican que ha ganado una plaza en la Universidad España a la que Querría Ir (UEQI). Irse a UEQI supone, claro, abandar su puesto en UBPA. Es posible (sí, está pasando) que tras cuatro meses le comuniquen que ha perdido su plaza en UEQI y se quede sin puesto de trabajo. Tal cual.

Por ello, y ya para ir cerrando, considero que el nuevo sistema sigue presentando serios problemas. La capacidad para atraer talento en España es escasa si ni siquiera les podemos garantizar que ganar una plaza supone ganar una plaza. Legalmente tiene todo el sentido del mundo: las plazas son reclamables y es bueno que ahora se esté empezando a hacer. Refleja una carencia de puestos y, tal vez, una mayor madurez colectiva. Pero hemos pasado de un sistema de libertad completa en la selección a otro sistema basado en la desconfianza. Es necesario documentarlo todo porque no podemos asumir que los miembros de los tribunales tienen motivos para buscar a los idóneos. Los sistemas basados en la desconfianza pueden ser mejores que los previos, pero con costes que a veces se nos escapan.

martes, mayo 16, 2017

Grados de libertad del investigador: Tamaños del efecto

Pensemos en un familiar que nos contara que durante las últimas vacaciones estuvo en Chilipistán y, por tomarse un café en la plaza de la capital, le cobraron 50 chilipistunes, la monedad local. Uno no sabe si expresar sorpresa alguna al respecto ni tampoco si corresponde hacerlo por los altos o bajos precios. Igual de carentes de reacción nos puede dejar leer un informe en el que se describe un programa de mejora de la autoestima académica que consigue mejorar en tres puntos la puntuación en el test XYZ, habitualmente usado para medirla. Sin embargo, hablar de un café a cinco euros o de una reducción de la probabilidad de muerte en un 20% gracias a un tratamiento son datos más sencillos de interpretar.

Puesto que la psicología hace años que se ha convertido en la "ciencia de los autoinformes y de los movimientos de dedos", es común que los resultados de nuestras investigaciones no sean datos en unidades de medida de fácil comprensión. Para hacer frente a este problema, se suelen calcular medidas de asociación, tamaños del efecto, que, mediante algunas transformaciones mejorar la interpretabilidad. El Grupo de Trabajo de la APA de Inferencia Estadística recomendaba en su artículo de 1999 (pág. 599):
Always present effect sizes for primary outcomes. If the units of measurement are meaningful on a practical level (e.g., number of cigarettes smoked per day), then we usually prefer an unstandardized measure (regression coefficient or mean difference) to a standardized measure (r or d).
Hay varias familias de tamaños del efecto. En psicología se trabaja principalmente con dos: medidas de distancia y medidas de varianza explicada.
  • Como medida de distancia, la más común es la d de Cohen. ¿En cuántas desviaciones típicas se aleja la media de un grupo de la media de otro grupo? Como cualquier psicólogo ha pasado en algún momento de su formación por 'la tabla de la z', tenemos cierta soltura en entender diferencias expresadas en puntuaciones típicas.
  • Como medidas de varianza explica contamos con la R² y la r, la correlación de Pearson. ¿En qué medida el recurrir a una variable para pronosticar otra nos permite reducir el error de predicción (explicar la varianza) en comparación con no usarla? Eso es R² y su raíz cuadrada es la muy conocida correlación de Pearson. Al estar acotadas entre 0 y 1 la primera y entre -1 y +1 la segunda resultan relativamente sencillas de interpretar, si bien sea de un modo no formal.
En algunos manuales de estadística se reservan las medidas de distancia para cuando la variable independiente es categórica de dos niveles  (vegetariano: no = 0, = 1) y la variable dependiente es numérica (puntuación en malestar psicológico evaluado mediante la escala de Afecto Negativo del test PANAS) y las medidas de varianza explicada cuando ambas variables son numéricas (índice de masa corporal y malestar psicólogico). Las primeras en contextos donde se aplica una prueba T de Student de comparación de medias y las segundas para cuando se calculan correlaciones/regresiones. Sabemos, sin embargo, desde hace décadas que pruebas T y regresiones son caras de una misma moneda de modelado estadístico.

Cojamos el caso de vegetarianismo y malestar psicológico. Asumamos que ambas variables no guardan relación. ¿Qué cabe esperar que ocurra en en una prueba T de comparación de medias? No rechazaremos la hipótesis de igualdad de medias a nivel poblacional. ¿Y qué ocurrirá si intentamos pronosticar malestar mental a partir del vegetarianismo? Si ambos grupos comparten media, saber si alguien es o no es vegetariano no nos ayuda en nada a realizar pronósticos; contar con esta variable no supone diferencias con respecto a no disponer de ella, puesto que en todos los casos el mejor pronóstico será la media total. Eso implica una correlación poblacional de cero y, por tanto, esperar que no rechazaremos la hipótesis nula de que r(poblacional) = 0. Resulta posible comparar medias con una prueba de T de comparación de medias o con una correlación/regresión.

Si ambas pruebas son, en realidad, la misma con distinto ropaje, no ha de sorprendernos que las medidas de tamaño del efecto que generan sean convertibles entre sí. Estas son las fórmulas para ello:


En las fórmulas, r(pb; point-biserial) es la correlación de Pearson y p1 y p2 son las proporciones de cada uno de los dos grupos de comparación (proporción de no vegetarianos en la muestra; proporción de vegetarianos).

Si bien estas medidas de tamaño del efecto son algo más comprensibles, no lo resultan por completo. Hablar en chilipistunes puede ser fácil de entender para los naturales del país o incomprensible para quien nunca había oído hablar de esa moneda. En el mundo de los tamaños del efecto la mayor parte de nosotros somos turistas, con más o menos tiempo por el país, que todavía sudamos para hacer la conversión de ds y rs a algo que nos resulte familiar. Para hacer frente a esta situación se han ofrecido varias guías de cómo categorizar los tamaños del efecto en valores bajos, medios o altos. Indudablemente, en psicología los valores de referencia más empleados son los de Cohen (1988, 1992).

Valores de d entre 0.2 y 0.5 se entienden como pequeños, entre 0.5 y 0.8 como medios y por encima de 0.8 como grandes; rs entre 0.1 y 0.3 como pequeñas, entre 0.3 y 0.5 como medias y por encima de 0.5 como grandes.

Tenemos, pues, (a) la recomendación de emplear medidas de tamaño del efecto y (b) varias opciones disponibles para ello. Nos encontramos, pues, ante otra decisión más a tomar por parte del investigador que amplía sus grados de libertad. En este contexto entendemos como grados de libertad todas esas decisiones analíticas que dotan de flexibilidad los resultados de una investigación. Habitualmente leemos una investigación como si los análisis realizados fueran los únicos posibles. Sin embargo, no suele ser así. Cuando valoramos la relación entre vegetarianismo y malestar psicológico, ¿incluimos el sexo como covariable en el modelo? ¿Descartamos de la muestra a aquellas personas que manifiestan estar en este momento en tratamiento por algún trastorno de salud mental? ¿Descartamos a las personas con valores faltantes en algún ítem de la PANAS? ¿O reemplazamos por la media? ¿O vamos con imputación múltiple? Cada una de estas decisiones va a cambiar, si bien sea ligeramente, los resultados, tanto en el tamaño del efecto a informar como en el valor p del contraste de hipótesis. El tamaño del efecto que empleamos es también algo a decidir.

Un investigador desea aproximarse a la verdad y publicar sus resultados. Lo primero nutre a la ciencia; lo segundo a sí mismo. Para publicar los resultados conviene encontrar efectos estadísticamente significativos y, a poder ser, con tamaños del efecto grandes. ¿Qué tiene más opciones de ser publicado en una revista de perfil muy alto, un tratamiento que mejora un poco la recuperación de una enfermedad u otro que lo mejora enormemente?

Como decía, el valor p no va a cambiar si usamos una prueba T de comparación de medias o una correlación. Sin embargo, la categorización del tamaño del efecto como pequeño, medio y grande cambia en enorme medida según escojamos hablar de d o de r. Veámoslo con la siguiente gráfica.

En el eje de las X tenemos la proporción de participantes en el primer grupo. Por simplicidad, será el grupo con mayor tamaño muestral. Esta proporción puede ir desde 0.50 (dos grupos del mismo tamaño; mitad y mitad) hasta aproximadamente 1. Situaciones con p1 = 0.50 podrían ser comparaciones entre mujeres y hombres con muestra comunitaria (regularmente muestras bastantes igualadas en tamaño); situaciones con p1 cercano a 1 serían comparaciones entre personas sin ideación suicida y con ideación suicida en población comunitaria.

En el eje de las Y tenemos la correlación de Pearson, calculada de partir de la d de Cohen. Hemos tomado tres posibles valores de la d (0.2, 0.5, y 0.8) para seguir los puntos de referencia habituales.


¿Qué es lo que vemos?
  • Con una d = 0.8, atravesando ya el límite para ser categorizado como efecto grande, pasa a ser una r = 0.37, correlación media, incluso en el caso más favorable de p1 = p2 = 0.5.
  • A mayor discrepancia en tamaños muestrales entre grupos menor es la r. Mientras que la d es insensible al tamaño muestral (la distancia en malestar mental entre vegetarianos y no vegetarianos no cambia por más o menos que haya en cada grupo), la correlación sí que lo es. Cuando una variable predictora presenta apenas varianza (casi todos los participantes están en un mismo grupo) es complicado que pueda explicar de forma importante la variabilidad en la otra variable.
Por tanto: (a) cuando comparamos las medias de dos grupos, resulta más sencillo informar de tamaños del efecto grandes si recurrimos a la d de Cohen y no a la r; (b) esta tendencia se hace más marcada a mayor discrepancia en tamaños muestrales.

Un investigador puede hacer sus resultados más 'vistosos' sin necesidad de descartar participantes o seleccionar a posteriori variables. Jugando estratégicamente con los indicadores de tamaño del efecto a informar resulta posible.

No entiendan que así estoy invitando a ello. Estoy, por un lado, informando y, por otro, intentando poner de manifiesto dos problemas de la investigación en psicología.
  1. En líneas generales, los investigadores en psicología han renunciado a aprender sobre estadística. Hay dos grandes opciones: o bien se emplean siempre las mismas técnicas, que más que estadística son rituales, o bien se subcontrata el análisis en el estadístico del grupo. No saber de estadística es carecer de uno de los lenguajes básicos de nuestra disciplina y, así, nos pueden meter goles para aburrir.
  2. El nivel de flexibilidad analítica no solo se asocia con prácticas de investigación que ahora vamos viendo como cuestionables (informar parcialmente de condiciones o variables de investigación, probar múltiples análisis y escoger el 'mejor'...). La estadística, en este caso los tamaños del efecto, también está cargada de opciones y por cuál nos decantamos tiene sus implicaciones.
Por cierto... Con una muestra de 784 no vegetarianos y 51 vegetarianos, no hay diferencias estadísticamente significativas entre ambos grupos en puntuación promedio en afecto negativo, p = 0.724.


sábado, enero 28, 2017

Nube de palabras a partir de Google Académico

Una forma visualmente llamativa y relativamente original para presentar nuestras líneas de investigación es a través de una nube de palabras. Si Stephen Hawking tuviera que presentar su currículum en una oposición, podría arrancar con algo parecido a esto, por ejemplo.



Conseguir hacer una imagen así con R es sencillo. Únicamente necesitamos
1.- Tener nuestro perfil de Google Académico convenientemente depurado y actualizado.
2.- Localizar nuestro identificador en este servicio. La página de Scholar para Hawking es:
https://scholar.google.com/citations?user=qj74uXkAAAAJ
En este caso, su identificador es lo que sigue al igual, esto es, qj74uXkAAAAJ.
En ocasiones la dirección web es más larga. Aquí, por ejemplo, hemos pedido mostrar las publicaciones ordenadas por año, no por citas:
https://scholar.google.com/citations?hl=en&user=qj74uXkAAAAJ&view_op=list_works&sortby=pubdate
El identificador ahora se encuentra entre el = y el primer &.
3.- Ejecutar esta sintaxis de R: https://www.dropbox.com/s/kqggjy23c65s9s4/nubes.R?dl=0
library(scholar)
library(wordcloud2)
pubs <- get_publications("NDVBqHEAAAAJ")$title 
pubs <- tolower(pubs)
titulos <- paste(pubs, sep = '', collapse = ' ')
palabras <- strsplit(titulos, split=" ")
tabla.frec <- as.data.frame(table(palabras))
tabla.frec <- tabla.frec[order(-tabla.frec$Freq),] 
masdetres <- tabla.frec[nchar(as.character(tabla.frec$palabras)) > 3,]
wordcloud2(masdetres[1:min(100,nrow(tabla.frec)),]) 

Aquí estoy asumiendo que el usuario ya tiene instaladas las librerías scholar y wordcloud2. En un primer momento leemos el título de las publicaciones incluidas en Scholar en un perfil (tercera línea de código; ahí hemos de poner entre comillas el identificador), separamos en palabras distintas y calculamos su frecuencia. Para evitar palabras de escasa aportación como "y" o "the", restringimos la gráfica a palabras de longitud superior a tres caracteres. Para evitar gráficos excesivamente sobrecargados, en el caso de haber más de cien palabras distintas en los títulos, solo mostramos las cien más frecuentes. Estas restricciones se pueden modificar.

La librería wordcloud2 ofrece otras opciones para mostrar las nubes. Les animo a hacer pruebas.