Contratación desde la perspectiva de la universidad
Claramente, hay que contratar a Manolinho 'el Cojo'. Tiene más experiencia, más títulos y mejores resultados anotadores. La decisión está clara.
En la selección de profesorado universitario, en el mejor de los casos, se define un baremo y se puntúa a los diferentes candidatos en relación a él. De nuevo en el mejor de los casos, el baremo es suficientemente claro como para poder garantizar una alta fiabilidad interjueces (con independencia de quienes puntúen, los resultados serán altamente similares). Los méritos suponen un recuento de lo hecho en el pasado, donde todo suma, y las condiciones de partida del candidato son triviales para la valoración.
En este caso, Manolinho ha de ser el seleccionado, con independencia de que: (a) su mejor rendimiento goleador pueda explicarse, al menos parcialmente, por jugar en un mejor equipo y por haberlo hecho durante más minutos; (b) el rendimiento de un jugador sea decreciente a partir de una cierta edad, por lo que muy probablemente este jugador está ya en la cuesta abajo de su carrera; y (c) su situación física implica que su desempeño pasado va a sobreestimar su desempeño futuro.
Contratación desde la perspectiva del pronóstico del desempeño
Desde este punto de vista, uno asume que el pasado es una herramienta para anticipar el desempeño futuro. Con esto es mente, sería mucho más razonable contratar a Pepinho, a quien les quedan, esperemos, años en activo y de progresión, y que bastante bien lo ha hecho considerando dónde y cuánto ha jugado.
En el caso universitario, el primer paso, y no es tarea sencilla, sería consensuar qué entendemos por desempeño en la universidad. Por simplificar, dividiré en dos áreas, investigación y docencia, sin negar la importancia de la gestión y la transferencia.
El mérito investigador se puede contar como número de publicaciones, índice H, número de citas, puntos de impacto acumulados, evaluación por expertos de calidad... y otros tantos modos que podamos pensar. Llamémoslo MI, sin más. El MI futuro es, claro, desconocido. Para pronosticarlo, tendríamos que pensar un modelo de regresión tal que:
MI(pronosticado) = b0 + b1X1 + b2X2 + ... + bnXn
A la hora de pensar qué variables incluir, muy posiblemente la primera candidata sería relativa a las publiciones.
MI(pronosticado) = b0 + b1Publicaciones
Todos acordaríamos que el coeficiente correspondiente a esta variable tendrá signo positivo, esto es, a más publicaciones (número, calidad, impacto... como quiera que lo operativizáramos) en el pasado, mejor MI podemos esperar una vez contratado.
Pasemos a un segundo mérito posible. Por ejemplo, estancias en el extranjero. Ahora el modelo sería:
MI(pronosticado) = b0 + b1Publicaciones + b2Estancias
Ahora mismo, lo estándar en las comisiones de selección es que las estancias sean puntuadas favorablemente. Visto desde un modelo de regresión, la interpretación cambia. El valor del coeficiente b2 se interpreta como, a igualdad de publicaciones (y esto es fundamental), ¿cuál es el efecto esperado en el MI por cada unidad de estancia (número, meses...) adicional? Esta explicación puede quedar más clara si imaginamos a dos personas igualadas en todos los predictores salvo en el que queremos valorar en este momento. Yo he ido a Harvard diez veces y tengo quince artículos. Usted no ha salido de la Universidad de Alpedrete en la vida y tiene quince artículos. ¿De quién cabe esperar mayor desempeño investigador en el caso de ser contratado por una nueva universidad? De quien sin tener el viento a favor ha conseguido mismo resultados que quien ha disfrutado de mejores condiciones. Por tanto, en términos de modelo predictivo, el coeficiente asociado a las estancias tendría que ser negativo.
Lo mismo puede decirse de otros tantos indicadores comúnmente empleados, como los proyectos financiados, las becas disfrutadas o las tesis dirigidas. En tanto que son instrumentos para conseguir rendimiento investigador, a igualdad de productividad, son más bien deméritos que no méritos.
¿Implica esto que haya que rechazar salir al extranjero? No. Signfica que, como oportunidad para hacer contactos, establecer colaboraciones y aprender, sólo tienen valor si se traduce en los verdaderos outputs investigadores. Salir un año a Canadá a aprender inglés y volver sin ningún artículo (frente a una persona así perdí yo una plaza) no puede tener valoración positiva. Conseguir un proyecto de cinco millones de euros para sacar tres artículos, cuando otros consiguen eso sin financiación, no puede ser un mérito que te abra las puertas a conseguir ascensos o más proyectos que malgastar.
Veamos ahora el caso del mérito docente (MD), donde también encontraremos resultados paradójicos. Lo estándar es que los méritos docentes se valoren 'al peso', simplemente número de horas o créditos de docencia impartidos. A veces, se añade como criterio la puntuación obtenida en las encuestas de valoración contestadas por el alumnado. En ocasiones, se añade un desprecio a la docencia impartida en grado, de tal modo que la docencia en másteres puntúa más.
El pequeño gran problema es que la experiencia docente es un predictor esencialmente nulo, sino negativo, de la calidad docente. H. W. Marsh (1991) ofrece datos de una calidad excepcional para valorar esto. Del resumen:
Students' evaluations of teaching effectiveness (SETEs) are weakly related—negatively—to teaching experience and age according to Feldman's (1983) comprehensive review of cross-sectional studies. Cross-sectional studies, however, provide a weak basis for inferring the future ratings of less experienced teachers or the past ratings of more experienced teachers. Considered here are ratings of 6024 classes taught by a diverse cohort of 195 teachers representing 31 academic departments who were evaluated continuously over a 13-year period using the same multidimensional Students' Evaluations of Educational Quality instrument. For both undergraduate and graduate level courses, there were almost no changes over time for any of the nine content-specific dimensions, the overall course rating, or the overall instructor rating. The findings were consistent for teachers who had little, moderate, or substantial amounts of teaching experience at the start of the study. These results are important because this is apparently the only study to examine the stability of faculty ratings using a longitudinal design with a large and diverse group of teachers over such a long period of time.Por ello, el número de años de experiencia docente es irrelevante en la predicción del mérito docente futuro. (Es posible encontrar estudios donde la experiencia se asocia con mejores y con caídas del desempeño docente. Por ello, considero que considerar la relación como nula es lo más conservador).
En otros casos, como decía, se valora la puntuación en las encuestas administradas al alumnado. En el caso de la Universidad de Zaragoza, por ejemplo, según el Boletín Oficial de Aragón de 16/03/2011, "la obtención de una evaluación negativa no será causa de exclusión del candidato, pero los cursos evaluados negativamente no se valorarán." Como he comentado en un post anterior, en la UZ es casi imposible conseguir una evaluación negativa, dado que el modo de construir la prueba y de interpretarla están pensados para que todos los profesores salgamos bien en la foto.
Por tanto, si uno es realmente, realmente malo, no le contará la experiencia docente. Eso significa que si yo, profesor nefasto, me presento a una plaza y también lo hace usted, candidato sin experiencia, ambos conseguiremos la misma puntuación en este apartado. Pero a un candidato sin experiencia, el mérito docente que cabe pronosticarle no es de cero, sino un mérito docente promedio. (En Estadística, cuando no hay pronosticadores o éstos son inútiles, el valor esperado es la media de la variable. Si ahora entra una persona por la puerta y yo no sé nada de ella, esperaré que mida como 1.70 metros, más o menos, porque la media es la mejor apuesta cuando no tenemos información). Por ello, es de esperar que un candidato sin experiencia sea mejor que un profesor que sabemos claramente que es malo.
Veamos otros méritos comúnmente computados. Por ejemplo, participación en proyectos de innovación docente. Cuando lea alguna investigación bien diseñada que muestre que la participación en estos proyectos tiene impacto en la actividad docente, me creeré que tengan que valorarse. E, incluso ahí, si estos proyectos mejoran la actuación docente, ya se verá eso en las encuestas de evaluación. Computar tanto medios como resultados es premir por duplicado y no penalizar cuando los medios no resultan efectivos.
Considero que lo razonable, cuando se selecciona a alguien, es plantearse en qué medida ese persona podrá hacer frente de manera solvente a sus próximas responsabilidades y tareas. El sistema actual de contratación en la universidad (incluso si obviamos el mafioseo y la endogamia) está centrado en contar méritos pasados. Una selección más razonable requiere de un modelo de regresión (empírico o teórico) donde uno se plantee qué hace esperar un mejor desempeño, qué criterios son redundantes y no han de ser incorporados, y qué elementos están más cerca de ser un demérito que un mérito, cuando uno ya ha contabalizado el resto de aspectos.
Aun siendo cierta en parte (y muy interesante en su conjunto) la reflexión del anónimo autor de este blog, creo que contiene un error potencialmente grave.
ResponderEliminarEste error radica en que no se ha definido apropiadamente el concepto de "Mérito investigador" (la variable dependiente en la ecuación de predicción que se propone). O, mejor dicho, queda definida implícitamente como "volumen y (quizá) calidad de publicaciones" del investigador. Ahora bien, ¿es esto lo que buscamos en realidad? Si es así, el autor tiene toda la razón, quien haya conseguido más y mejores publicaciones con menos recursos (proyectos, estancias) es quien muy posiblemente tenga mejor desempeño futuro, en este sentido tan estricto.
Pero, ¿y si lo que valoramos es su aportación a la sociedad?. Esto es, no solo los kilogramos de 'papers' producidos (incluso buenos), sino también cuántos recursos ha podido atraer a su centro, cuántas de sus investigaciones han generado retornos (de cualquier tipo) posteriormente, cuántos nuevos investiagdores se han formado a su sombra, cuánto ha contribuido a modernizar el sistema, etc.? Entonces, esos coeficientes negativos que propone el autor para conceptos tales como proyectos obtenidos o estancias en el extranjero deberían ser claramente positivos, ya que habrían contribuido a atraer recursos, mejorar infarestructuras y posiblemente modernizar los estilos de trabajo, copiando lo que hacen en el mundo exterior, claramente más eficiente que el nuestro.
También me ha llamado myucho la atención la falta de esa variable que he mencionado de pasada, el "valor" generado por el trabajo del investigador. ¿Ha producido patentes que conlleven retornos económicos (esta última condición es imprescindible)? ¿Sus resultados se usan en algún otro sitio? ¿Ha mejorado en algo el trabajo o la vida de su institución, o de otras, o de alguien?
De igual modo que el autor propone pesos negativos para algunos factores que, sin pensar mucho, siempre se asumen como positivos, yo propondría pesar negativamente de algún modo toda aquella investigación que, aun publicada y con buen índice "h", no se haya traducido en que el dinero en ella invertido se pueda recuperar de algún modo. Si solo producimos buenos artículos no se puede sostener el paradigma de que en la I+D está el futuro. Será solo un generador de conocimiento estéril, una especie de reacción que trasmuta el papel de los billetes de 100 euros en papel de artículos en revistas científicas. Seguramente, sería mejor invertir en mejores chiringuitos playeros, que atraen turistas, que no en más artículos aburridos.
¿Y cuál es la solución?. Bueno, yo no he dicho que la tenga. Solo digo que la propuesta por el autor de este blog tampoco es correcta, y que habrá que seguir pensando. Por ello, me parece excelente que, aunque no se acierte a la primera, haya quien se niegue a aceptar como verdad inmutable los horribles sistemas de baremación que padecemos. Amigo 'unnombrealzar', gracias por tu contribución y hala, ¡a mejorarla un poco!.
Muchas gracias, Manuel, por tu extenso comentario. Por partes:
ResponderEliminar- Intencionalmente, dejo poco cerrada la definición del mérito investigador. Es probable que su definición apropiada sea dependiente de área de conocimiento. No quería alargarme en ese punto, puesto que creo que me habría sacado de mi idea principal: hemos de intentar pronosticar desempeño futuro, no contar méritos.
- Si las estancias en el extranjero permiten copiar modelos más eficientes, eso se ha de traducir en una mayor productividad (como quiera que definamos productividad). Yo he aprendido muchísimo en mis estancias y de ahí han salido algunos de mis, creo, mejores artículos. Pero mis colaboraciones internacionales de ahora las he conseguido sin salir de mi despacho: o bien me han buscado a mí o yo he contactado por correo con ellos. Y también así he conseguido sacar artículos interesantes. ¿Habría de premiárseme si, con igual productividad, hubiera salido más?
- Los proyectos obtenidos, que bien pueden suponer compra de mejores equipos o contratación de personal, se han de manifestar también en una mayor productividad. En cualquier caso, posiblemente podemos discrepar sobre si la valoración de estos elementos ha de ser negativa, nulo o positiva, pero creo que acordaríamos que ahora mismo están sobrevalorados en la evaluación de currículums.
- La transferencia no la desatiendo. De nuevo, el valor que tiene muy posiblemente sea dependiente de área de conocimiento. La lógica a aplicar sería la misma que en los otros dos campos que comento, que son los más habitualmente valorados en la universidad. Ahora mismo se valoran patentes con independencia de la explotación comercial de las mismas. ¿Es razonable?
- Desde luego, en España tenemos un serio problema en la universidad con la transferencia y explotación comercial de conocimientos que generamos. En artículos, como país, no vamos tan mal; en citas, mucho peor; en patentes, francamente mal. Pero, como decía, quería comentar un cambio de enfoque, no cerrar la propuesta.
Un saludo.
Posiblemente estamos errando al identificar la fuente del problema; me explico:
ResponderEliminar¿Qué tipo de solución parece proponerse, en general? Más mecanismos de control. Por ejemplo, el uso de intrincados baremos con múltiples subapartados en los que se asignan puntitos y decimitas a toda clase de actividades, complejas fórmulas que tratan de compaginar conceptos heterogéneos, comisiones de selección y vigilancia con múltiples miembros que, ya puestos y en loor de democracia, incluyan representantes de los alumnos, del personal administrativo, de los sindicatos, de los partidos políticos, del Consejo Social, ... Vaya pesadilla.
¿Y cómo se hace esto en aquellos sitios (casi todos extranjeros) que funcionan bien y no tienen el problema de la endogamia? Nada de baremos, ni comisiones, ni leches. En vez de ello, una entrevista con el jefe del grupo, que selecciona a quien le parece mejor. ¡Toma ya!, sorpresa. El colmo de la arbitrariedad. ¿Cómo es que esos grupos no se llenan de amiguetes y enchufados? Pues muy sencillo, porque el prestigio del jefe (léase su remuneración y su continuidad en la plaza) están en función del rendimiento del grupo. Si en vez de elegir investigadores competentes opta por familiares y amigos mediocres, acaban todos en la calle (jefe incluido).
Por desgracia, no podemos importar este sistema en la Universidad española, donde los jefes de grupo (profesores) son funcionarios cuya continuidad laboral está asegurada para siempre, y cuya remuneración es casi totalmente independiente de sus resultados. No hay estímulo externo alguno para elegir personal competente, más allá de la buena voluntad personal. Y como bien sabemos, todos esos "controles" que se ponen no valen para casi nada.
Bueno, entonces ¿y si hacemos que las cátedras y titularidades no sean en calidad de funcionario, sino plazas renovables periódicamente en función de resultados?. Suena bien, pero falla un detalle: esto es España. Lo que pasaría en ese caso es que trasladamos la arbitrariedad en la contratación de investigadores a la arbitrariedad en la continuidad de los profesores senior. En vez de los buenos, serían renovados aquellos que fueran amigos del rector, o miembros del partido político de la Comunidad correspondiente, o vaya usted a saber. El problema se nos reproduce en una escala superior, y nos lleva seguramente a un proceso recursivo cuyo fin escapa a mi vista.
En resumen, soy pesimista. Lo que pasa en la Universidad es un síntoma de cómo es nuestra sociedad, y no hay que curar el síntoma sino la enfermedad. Y eso no va a pasar a corto plazo, malas noticias.