Selección de profesorado universitario: ¿Pronosticar desempeño o contar méritos?

Imaginemos que usted quiere seleccionar a un delantero para su equipo de fútbol, actualmente en puestos medios en la liga comarcal. El contrato que va a ofrecer es de cinco años. Dos son los candidatos. Manolinho lleva diez años en el mejor equipo de la comarca. La temporada pasada saltó al campo todos los partidos y anotó cincuenta goles. Celebrando el ascenso de categoría, se cayó del tractor con el que el equipo hacía ruta festiva por el pueblo. Le pasó el vehículo por encima y ahora, lo que para usted o para mí es un único hueso, el fémur, para él son unos mil huesecitos bien pequeños. El otro candidato es Pepinho, un chico de 20 años salido de un equipo con puestos más bajos en la tabla. Se incorporó a la liga a mitad de temporada y consiguió anotar quince goles. Cuando el médico del pueblo quiere poner un ejemplo de alguien en sano y 'en perfecto estado de revista', habla de Pepinho. ¿A quién contrataría usted?

Contratación desde la perspectiva de la universidad
Claramente, hay que contratar a Manolinho 'el Cojo'. Tiene más experiencia, más títulos y mejores resultados anotadores. La decisión está clara.

En la selección de profesorado universitario, en el mejor de los casos, se define un baremo y se puntúa a los diferentes candidatos en relación a él. De nuevo en el mejor de los casos, el baremo es suficientemente claro como para poder garantizar una alta fiabilidad interjueces (con independencia de quienes puntúen, los resultados serán altamente similares). Los méritos suponen un recuento de lo hecho en el pasado, donde todo suma, y las condiciones de partida del candidato son triviales para la valoración.

En este caso, Manolinho ha de ser el seleccionado, con independencia de que: (a) su mejor rendimiento goleador pueda explicarse, al menos parcialmente, por jugar en un mejor equipo y por haberlo hecho durante más minutos; (b) el rendimiento de un jugador sea decreciente a partir de una cierta edad, por lo que muy probablemente este jugador está ya en la cuesta abajo de su carrera; y (c) su situación física implica que su desempeño pasado va a sobreestimar su desempeño futuro.


Contratación desde la perspectiva del pronóstico del desempeño
Desde este punto de vista, uno asume que el pasado es una  herramienta para anticipar el desempeño futuro. Con esto es mente, sería mucho más razonable contratar a Pepinho, a quien les quedan, esperemos, años en activo y de progresión, y que bastante bien lo ha hecho considerando dónde y cuánto ha jugado.

En el caso universitario, el primer paso, y no es tarea sencilla, sería consensuar qué entendemos por desempeño en la universidad. Por simplificar, dividiré en dos áreas, investigación y docencia, sin negar la importancia de la gestión y la transferencia.

El mérito investigador se puede contar como número de publicaciones, índice H, número de citas, puntos de impacto acumulados, evaluación por expertos de calidad... y otros tantos modos que podamos pensar. Llamémoslo MI, sin más. El MI futuro es, claro, desconocido. Para pronosticarlo, tendríamos que pensar un modelo de regresión tal que:

MI(pronosticado) = b0 + b1X1 + b2X2 + ... + bnXn

A la hora de pensar qué variables incluir, muy posiblemente la primera candidata sería relativa a las publiciones.

MI(pronosticado) = b0 + b1Publicaciones

Todos acordaríamos que el coeficiente correspondiente a esta variable tendrá signo positivo, esto es, a más publicaciones (número, calidad, impacto... como quiera que lo operativizáramos) en el pasado, mejor MI podemos esperar una vez contratado.



Pasemos a un segundo mérito posible. Por ejemplo, estancias en el extranjero. Ahora el modelo sería:

MI(pronosticado) = b0 + b1Publicaciones + b2Estancias

Ahora mismo, lo estándar en las comisiones de selección es que las estancias sean puntuadas favorablemente. Visto desde un modelo de regresión, la interpretación cambia. El valor del coeficiente b2 se interpreta como, a igualdad de publicaciones (y esto es fundamental), ¿cuál es el efecto esperado en el MI por cada unidad de estancia (número, meses...) adicional? Esta explicación puede quedar más clara si imaginamos a dos personas igualadas en todos los predictores salvo en el que queremos valorar en este momento. Yo he ido a Harvard diez veces y tengo quince artículos. Usted no ha salido de la Universidad de Alpedrete en la vida y tiene quince artículos. ¿De quién cabe esperar mayor desempeño investigador en el caso de ser contratado por una nueva universidad? De quien sin tener el viento a favor ha conseguido mismo resultados que quien ha disfrutado de mejores condiciones. Por tanto, en términos de modelo predictivo, el coeficiente asociado a las estancias tendría que ser negativo.

Lo mismo puede decirse de otros tantos indicadores comúnmente empleados, como los proyectos financiados, las becas disfrutadas o las tesis dirigidas. En tanto que son instrumentos para conseguir rendimiento investigador, a igualdad de productividad, son más bien deméritos que no méritos.

¿Implica esto que haya que rechazar salir al extranjero? No. Signfica que, como oportunidad para hacer contactos, establecer colaboraciones y aprender, sólo tienen valor si se traduce en los verdaderos outputs investigadores. Salir un año a Canadá a aprender inglés y volver sin ningún artículo (frente a una persona así perdí yo una plaza) no puede tener valoración positiva. Conseguir un proyecto de cinco millones de euros para sacar tres artículos, cuando otros consiguen eso sin financiación, no puede ser un mérito que te abra las puertas a conseguir ascensos o más proyectos que malgastar.

Veamos ahora el caso del mérito docente (MD), donde también encontraremos resultados paradójicos. Lo estándar es que los méritos docentes se valoren 'al peso', simplemente número de horas o créditos de docencia impartidos. A veces, se añade como criterio la puntuación obtenida en las encuestas de valoración contestadas por el alumnado. En ocasiones, se añade un desprecio a la docencia impartida en grado, de tal modo que la docencia en másteres puntúa más.

El pequeño gran problema es que la experiencia docente es un predictor esencialmente nulo, sino negativo, de la calidad docente. H. W. Marsh (1991) ofrece datos de una calidad excepcional para valorar esto. Del resumen:

Students' evaluations of teaching effectiveness (SETEs) are weakly related—negatively—to teaching experience and age according to Feldman's (1983) comprehensive review of cross-sectional studies. Cross-sectional studies, however, provide a weak basis for inferring the future ratings of less experienced teachers or the past ratings of more experienced teachers. Considered here are ratings of 6024 classes taught by a diverse cohort of 195 teachers representing 31 academic departments who were evaluated continuously over a 13-year period using the same multidimensional Students' Evaluations of Educational Quality instrument. For both undergraduate and graduate level courses, there were almost no changes over time for any of the nine content-specific dimensions, the overall course rating, or the overall instructor rating. The findings were consistent for teachers who had little, moderate, or substantial amounts of teaching experience at the start of the study. These results are important because this is apparently the only study to examine the stability of faculty ratings using a longitudinal design with a large and diverse group of teachers over such a long period of time.

Por ello, el número de años de experiencia docente es irrelevante en la predicción del mérito docente futuro. (Es posible encontrar estudios donde la experiencia se asocia con mejores y con caídas del desempeño docente. Por ello, considero que considerar la relación como nula es lo más conservador).

En otros casos, como decía, se valora la puntuación en las encuestas administradas al alumnado. En el caso de la Universidad de Zaragoza, por ejemplo, según el Boletín Oficial de Aragón de 16/03/2011, "la obtención de una evaluación negativa no será causa de exclusión del candidato, pero los cursos evaluados negativamente no se valorarán." Como he comentado en un post anterior, en la UZ es casi imposible conseguir una evaluación negativa, dado que el modo de construir la prueba y de interpretarla están pensados para que todos los profesores salgamos bien en la foto.

Por tanto, si uno es realmente, realmente malo, no le contará la experiencia docente. Eso significa que si yo, profesor nefasto, me presento a una plaza y también lo hace usted, candidato sin experiencia, ambos conseguiremos la misma puntuación en este apartado. Pero a un candidato sin experiencia, el mérito docente que cabe pronosticarle no es de cero, sino un mérito docente promedio. (En Estadística, cuando no hay pronosticadores o éstos son inútiles, el valor esperado es la media de la variable. Si ahora entra una persona por la puerta y yo no sé nada de ella, esperaré que mida como 1.70 metros, más o menos, porque la media es la mejor apuesta cuando no tenemos información). Por ello, es de esperar que un candidato sin experiencia sea mejor que un profesor que sabemos claramente que es malo.

Veamos otros méritos comúnmente computados. Por ejemplo, participación en proyectos de innovación docente. Cuando lea alguna investigación bien diseñada que muestre que la participación en estos proyectos tiene impacto en la actividad docente, me creeré que tengan que valorarse. E, incluso ahí, si estos proyectos mejoran la actuación docente, ya se verá eso en las encuestas de evaluación. Computar tanto medios como resultados es premir por duplicado y no penalizar cuando los medios no resultan efectivos.

Considero que lo razonable, cuando se selecciona a alguien, es plantearse en qué medida ese persona podrá hacer frente de manera solvente a sus próximas responsabilidades y tareas. El sistema actual de contratación en la universidad (incluso si obviamos el mafioseo y la endogamia) está centrado en contar méritos pasados. Una selección más razonable requiere de un modelo de regresión (empírico o teórico) donde uno se plantee qué hace esperar un mejor desempeño, qué criterios son redundantes y no han de ser incorporados, y qué elementos están más cerca de ser un demérito que un mérito, cuando uno ya ha contabalizado el resto de aspectos.