lunes, noviembre 12, 2007

Programación lineal para la evaluación universitaria

La tendencia actual en política universitaria es que la universidad tiene que rendir cuentas ante la sociedad, que es quien paga, sobre sus logros. Para ello, se proponen algunos indicadores que pretenden evaluar la calidad del servicio prestado por la universidad. Entre ellos, está la tasa de graduados en cuatro o cinco años o la tasa de abandonos. Si estos fueron los únicos criterios empleados, serían unos indicadores muy fácilmente manipulables, puesto que para que una universidad figurara como excelente sólo necesitaría regalar aprobados a diestra y siniestra. La rebaja de los estándares educativos se traduciría en una mejora, de cara a las administraciones públicas, de los resultados.

Ahora bien, estos indicadores no son los únicos que se emplean. También se quieren introducir puntos cómo la tasa de inserción laboral acorde a nivel educativo, por ejemplo. Si este fuera el único indicador, también sería muy trucar. Para conseguir muy buenas colocaciones entre los graduados una universidad puede recurrir a elevar el listón para el aprobado, asegurándose que pocos se titulen, introduciendo poca oferta en el mercado laboral, y que los que lo hagan sea excepcionalmente brillantes. Esto es lo que han venido haciendo durante décadas las escuelas de ingeniería.

Lo interesante es que los modos de manipular los criterios de alta titulación y de alta inserción son incompatibles unos con otros: en un caso, tendríamos que regalar aprobados; en el otro, darlos con cuentagotas. La introducción de criterios incompatibles dificulta la manipulabilidad de
la valoración final y, desde luego, lleva a que el óptimo evaluativo no se encuentre bajando a niveles ínfimos la exigencia.

Simplificando, tendremos dos funciones. La primera, relaciona la tasa de titulación con el nivel de dificultad, con una relación inversa. La segunda, la tasa de inserción laboral también con la dificultad de los estudios, ahora con una relación directa. Y el interés universitario será maximizar la valoración, compuesta por una combinación de las dos funciones previas. Estas dos funciones pueden combinarse de varios modos. Supongamos que la función objetivo es algo parecido a:
Maximiza Valoración
donde Valoración = Ponderación_titulación * Tasa_titulación + Ponderación_inserción * Tasa inserción
Algunas de las personas que han comentado críticamente el Real Decreto de Enseñanzas Universitarias han partido de la base de que Ponderación_inserción es igual a 0, lo que implica, como comentaba anteriormente, que el óptimo a Valoración se encontraría en dificultad menos infinito. Para otros valores de las ponderaciones, la dificultad que maximizará Valoración no estará en niveles mínimos. Importantemente, el valor de dificultad óptimo dependerá por completo del valor relativo dado a los distintos criterios.

15 comentarios:

  1. Tengo la impresión de empezar la casa por el tejado.
    ¿Por qué no comenzar definiendo el concepto que se pretende conocer?
    ¿A qué llamamos "calidad de la enseñanza"?
    Yo es que si no tengo claro de qué discuto tengo la sensación de estar perdiéndome algo esencial.
    Saludos

    ResponderEliminar
  2. La idea que planteas es interesante pero le encuentro dos graves inconvenientes:

    1) ¿De dónde sacas que "Ponderación_inserción" no es igual a 0? Puede que en algunas comunidades la financiación se vaya a vincular a la inserción laboral, pero lo en el Real Decreto los únicos resultados de que se habla son las tasas de graduados y similares.

    2) La inserción laboral puede tener correlación con la exigencia académica, ciertamente, pero no es lo mismo. Si el mercado funciona bien, la inserción laboral mediría el buen funcionamiento de la universidad en una de sus misiones (proporcionar a la sociedad profesionales competentes) pero no en otra (la formación y la promoción del conocimiento). Evaluar ese objetivo necesitaría un indicador independiente. En mi opinión, ese podría ser la puntuación obtenida en una reválida externa.

    A esto hay que añadir que la razón por la que puede ser deseable que hay muchos aprobados es de un tipo diferente a las razones que hemos manejado hasta aquí. La Universidad está para formar una élite, y no está claro cual es el tamaño óptimo de esa élite. Dicho de otra manera: ¿por qué asumir que el alumno promedio de bachillerato tiene que ir a la Universidad?¿Por qué tiene que haber "Universidad para todos"? Si el tamaño óptimo de esa élite fuera menor que el volumen de alumnos de bachillerato, lo que habría que hacer sería poner una prueba de acceso difícil para que sólo los mejores alumnos fueran a la Universidad. Entonces el porcentaje de aprobados sube automáticamente.

    ResponderEliminar
  3. Sólo un apunte: para conseguir una mayor inserción laboral basta con disminuir el número de plazas universitarias, no hace falta aumentar la dificultad.

    Es decir, se puede hacer la selección en la admisión a la Universidad asegurando que sólo los mejores estudiantes (académica o económicamente) accedan a la Universidad.

    ResponderEliminar
  4. Ángel:

    "Calidad de la enseñanza" sería algo parecido a (sumatorio de incremento de conocimiento para todos los graduados / dinero invertido). De tal modo que un sistema en el que una parte importante de su gasto se destina a alumnos que dejan la universidad no sería un sistema de calidad. A igual inversión, podría darse una mayor calidad con más licenciados, todos ellos con menor nivel.

    Pseudópodo:

    1) Ponderación_inserción no es igual a 0 porque así queda claro en otros documentos oficiales. Acepto que no aparece en el Real Decreto último, pero sí en otros lugares que hablan de evaluación de universidades. Y, desde luego, es algo que está en el mismo 'espíritu de Bolonia'.

    2) Acepto tantos indicadores como quieras. Eso no haría más que complicar el sistema, dando más y más criterios antogónicos. Por tanto, más complicado el manipular 'a lo bruto' la valoración final.

    Por otro lado, con la nueva ley es imposible la reválida externa. O, cuanto menos, muy complicado. Antes podía hacerse, puesto que el Ministerio fijaba algunos mínimos comunes para todos. Ahora, con la autonomía universitaria para confeccionar de arriba abajo planes de estudio, no hay garantía de que haya algo común para poder comparar estudiantes de Físicas de Barcelona y Madrid, por ejemplo.

    Yo no sé si tiene que haber universidad para todos. A mí no me toca tomar la decisión. Pero parece razonable que sí que haya universidad para quienes superan el corte que supone Selectividad.
    Nuestros representantes políticos son quienes se encargan en fijarlo. ¿Puede el profesorado universitario ser más exigente que los representantes políticos?

    Sergio:

    Completamente de acuerdo contigo. Al final, habría que desarrollar un sistema para la valoración de la política educativa en general. Y una vez hecho, encontraríamos razones por las que el modelo sería insatisfactorio y tendríamos que hablar de política social en su conjunto. Y de ahí pasaríamos a...

    ResponderEliminar
  5. Le acabo de comentar a Pseudo, en su entrada al respecto, el tema de varios descriptores, puestos a elegir la prefiero el de inserción laboral.
    En análisis de inserción y satisfacción laboral en la UAM me sorprendió que un 40% de los alumnos señaló que lo estudiado durante la carrera le había servido de poco o nada en su desmpeño laboral, lo que resulta muy duro de decir. En la carrera en la que actualmente doy clase este porcentaje saltaba a más del 60%. Esto es muy duro de digerir y da que pensar.
    Un sistema universitario en el que hay una universidad por Corte Inglés no me parece muy racional, con universidades a menos de 5 kilómetros se convierte en demencial. No es asumible por el actual tejido empresarial, lo que origina que puestos a elegir se seleccione el familiar o conocido, lo que rompe el buen funcionamiento del sistema productivo con ineptos a distintos niveles.
    La reválida externa con consecuencias es algo interesante pero que seguro no se lleva a cabo, poner una especie de oposición fin de carrera que tuviera consecuencias en el sistema público podría priorizar entre universidades pero es que parece que la cosa va justo al contrario.
    Por otro lado parece que las competencias para las que se forma no tienen mucho que ver con las que necesitan las empresas (sólo hay que ver los libros blancos) y esto viene dado por la tradición, el endiosamiento, y el alejamiento de la realidad social/empresarial consecuencia de vivir una burbuja universitaria.
    ¿Soluciones? Todas, y ninguna asumible por instancias abocadas al café para todos. Limitar los numerus clausus en licenciaturas sin espejo laboral (al estilo de lo que hicieron con medicina y que se les fue de las manos), limitación de oferta por Universidades según numerus clausus y descriptores de excelencia, limitación del número de Universidades ( o colectivización de las licenciaturas),priorización de los graduados y reflejo en los CV públicos y privados. Todo esto, en el fondo va contra diversos aspectos del último RD, qué cosas.
    Un último apunte, las Universidades periféricas en competencia están abocadas al fracaso habida cuenta el descenso demográfico, ya que el factor que más correlaciona con la elección de una Universidad no es ni los diversos rankings españoles o europeos, ni la calidad de la investigación en el área de la licenciatura, ni la calidad ni la innovación docente en la licenciatura...lo que más correlaciona es la distancia al hogar paterno....vamos fatal...
    La semana pasada tuvimos una Junta de Facultad lacrimosa en la que (como si no lo supiéramos) vimos los patéticos números de inserción universitaria en disciplinas científicas...patéticas... al hoyo salvo en bio-sanitarias...
    Pues nada, que sigan sin hacer un verdadero PLAN de educación superior...a poner tiritas al cancer....es taaan útil...

    ResponderEliminar
  6. Topo, la misma definición de calidad de enseñanza que das a Ángel es incompatible con la idea de universidad para todos. El denominador crece linealmente con el número de alumnos, el numerado crece muy rápido al principio (cuando sólo admites a los más listos) y acaba creciendo muy despacio cuando metes a los más torpes. El cociente de esas dos funciones tiene un máximo en una posición intermedia entre admitir sólo al más listo y admitir a todo el mundo. Así que no debe haber universidad para todos, Q.E.D. ;-)

    Y, bueno, puede que sea razonable que deba haber universidad para todos los que pasen la Selectividad. Habría que poner entonces un corte más exigente ahí. ¿Alguien piensa que el nivel de Selectividad se fija con algún criterio más allá de "que aprueben muchos"?

    ResponderEliminar
  7. Roke, hay que tener en cuenta que la utilidad de lo que a uno le enseñan no siempre es detectable por los alumnos. Por ejemplo, en el programa '¿Sabes más que un niño de Primaria?' queda claro que muchos hemos olvidado lo que nos enseñaron cuando teníamos unos diez años. Podemos concluir que los contenidos que recibimos eran tonterías y que se harían bien en eliminarlas. O bien podemos pensar que eran la base para acceder a otros conocimientos, que fueron base de otros, hasta llegar a los conocimientos que realmente nos sirven ahora. Y junto a los conocimientos, creo que el tener que aprender (lo que sea) nos capacita para poder aprender más adelante. Por tanto, actividades superficialmente vacías pueden ser muy útiles.

    También hay que tener en cuenta que una parte importante de las asignaturas no sirven, aunque trabajemos en algo vinculado a nuestra titulación, porque nos dedicaremos a algo concreto de lo que estudiamos. Nadie trabaja de Biólogo, usando toda la Biología. La gente trabaja de biología, usando algunos pequeños fragmentos. Eso sí, gracias a haber hecho 300 créditos: a) ha podido darse cuenta de en qué quería especializarse; b) ha construido la base de lo que le ha sido de utilidad.

    Yo creo que la gente escoge la carrera por proximidad, aparte de por lo obvio, porque en este país está muy extendida de que el acceso al empleo no depende de las decisiones propias. Más en concreto, tenemos la idea de que todos tenemos derecho a trabajar de lo que hemos estudiado y que corresponde al gobierno conseguirlo. Con este modo de ver las cosas, es complicado tomar en serio la elección de centro.

    Pseudópodo, te lo planteó de otro modo. Imagina que baja el nivel hasta el punto de que los alumnos que entran en Físicas apenas supieran resolver un sistema de ecuaciones. ¿Te replanterías los objetivos de tu asignatura o los mantendrías, pensando que ser licenciado en Física ha de tener siempre le mismo mérito y, por tanto, no puede adaptarse?

    ResponderEliminar
  8. En mi opinión la inserción laboral depende de las necesidades de las empresas y tiene poco que ver con la calidad de la enseñanza.

    Incluso dentro de una misma titulación:

    - Existen convenios entre universidades y empresas que facilitan la inserción laboral de los alumnos.
    - Las nuevas universidades tardan en obtener prestigio
    - Los responsables de las empresas tienden a preferir a los que tienen sus mismos estudios.

    ResponderEliminar
  9. Llego tarde joé, es que he tenido un día...
    Una definición de calidad de enseñanza que tenga en cuenta el dinero me parece inaceptable. Una enseñanza será buena tanto si cuesta más como si cuesta menos. En este último caso será barata pero no mejor. Me parece bien que se busque hacer óptima la inversión en enseñanza pero no llamemos a eso calidad, por favor.

    Para mí, que parezco estar en otra onda, la calidad de enseñanza es la capacidad de comunicar, de incentivar, de aportar conocimientos, herramientas y métodos. Una mala calidad de enseñanza no lo consigue y una buena sí.
    Temo que eso no sea medible con nada de lo que se propone.

    ResponderEliminar
  10. 1) Acepté tu definición de calidad "for the sake of the argument" pero que conste que creo que esa sería en realidad una definción de "eficacia del sistema universitario", que es distinto, como señala Angel.

    2) Si entran en 1º de físicas unos alumnos que apenas saben resolver un sistema de ecuaciones, primero habría que plantearse como es posible que todo el sistema educativo anterior, con bachillerato y selectividad incluido, permite tal cosa.

    Pero bueno, aceptémoslo como quien acepta una maldición bíblica.

    ¿Qué hacer? Pues creo que habría que replantearse los objetivos de 1º y convertirlo en una especie de curso de "nivelación" (aunque debería ser más bien una especie de CIR dirigido por el sargento de hierro para conseguir tal nivelación en un año) pero mantener intactos al máximo los objetivos de la titulación en su conjunto.

    Una persona inteligente y motivada puede conseguir mucho en un año (recuerdo alumnos de una diplomatura de Informática que venían de FP y no tenían ni idea de física ni matemáticas, pero que acabaron aprobando con buena nota). Ser condescendientes con ella como han venido siéndolo durante el bachillerato es menospreciarla, no es hacerla un favor.

    ResponderEliminar
  11. "los rasgos comunes a los países que encabezan la tabla PISA (Hong Kong, Finlandia, Corea del Sur, Japón, Canadá) son estos tres: contratan a los mejores profesores, les sacan el máximo partido e intervienen en cuanto los resultados de los alumnos empiezan a bajar."
    A mi aquí me falta una variable, que es que en todos estos países los titulados tienen puestos acordes a su formación porque tienen un tejido empresarial fuerte con valor añadido.
    El informe no es sobre educación superior, pero creo que se puede extender...

    ResponderEliminar
  12. ¿Me vas a decir que a mayor eficacia un sistema no es de mayor calidad?

    Ángel:

    De acuerdo con tu definición abierta de calidad. El problema que tiene es que uno puede ofrecer esa educación de calidad cuando trabaja con pocos alumnos y éstos son de alto nivel intelectual y fuerte motivación. ¿Qué es mejor, la educación exquisita de unos pocos y la educación media y generalizada?

    Lo que yo estoy defendiendo es que no corresponde a la universidad tomar esta decisión, sino a quienes pagan: la sociedad, a través de los políticos. Y estos han optado por educación media y para muchos.

    Pseudópodo:

    Lo que tú estás planteando creo que es imposible. No sé cómo conseguir invertir un curso en subsanar una baja formación de los que entran y, al mismo tiempo, mantener los objetivos de la titulación completa. Si se te va un año en dar la base, ¿cómo vas a conseguir en otros tres lo que antes hacías en cuatro?

    Si la sociedad ha optado por bajar el nivel de la educación obligatoria y bachillerato, ¿puede la universidad mantener el suyo? Yo creo que no. (O, al menos, este lado de mi yo polemista cree que no).

    Sergio:

    Efectivamente, la inserción laboral depende poco de la excelencia de la formación. Precisamente por eso ha de ser incluido como elemento para la valoración de las titulaciones.

    ¿Tiene sentido que la sociedad pague dinero para que un grupo de estudiantes reciba una formación maravillosa en Filología Bíblica Trilingüe, teniendo en cuenta que estos estudiantes serán incolocables? ¿Qué aporta más a la sociedad, 100 filólogos clásicos de educación excelente o 100 ingenieros de formación media?

    Por cierto, el indicador de inserción laboral ya está presente actualmente en el sistema universitario español. De un modo muy burdo, desde luego. Se introduce a través de la limitación del número de estudiantes que pueden entrar cada año en las distintas facultades.

    ResponderEliminar
  13. Hombre, te había respondido poniéndome en la situación ideal en la que yo controlara toda la titulación y además no tuviera la presión de aprobar a un determinado tanto por ciento, como ahora va a ocurrir.

    En la situación real, con todos los condicionantes que tenemos, no va a haber más remedio que bajar el nivel. Que por otro lado es lo que yo decía desde el principio que va a ocurrir.

    Ahora, ¿es bueno bajar el nivel? Tú dices que "es la sociedad" a través de los políticos, la que tiene que decidir sobre eso. No negaré yo que el gobierno tiene legitimidad para hacer eso, pero tener legitimidad no quiere decir tener razón. Yo creo que la política populista de tener una universidad mediocre pero para todos es nefasta a largo plazo.

    Pero ese ya es otro análisis.

    ResponderEliminar
  14. Vuestro punto de vista (como lo entiendo):

    Si cambia el input, dejamos fijo el output. Que aumente la tasa de suspensos.

    Mi punto de vista:

    Si cambia el input, tienen que cambiar nuestras expectativas de output.

    (Todo esto, para métodos docentes fijos. Otra opción es comenzar a dar clases mejor, si se nos ocurre cómo).

    Vuestro punto de vista:

    Va a caer el nivel escandalosamente.

    Mi punto de vista:

    No va a caer escandalosamente, porque, si lo hiciera, la universidad no aportaría empleabilidad y ese es un indicador que se ha incorporado al modelo.

    ResponderEliminar
  15. Bueno, el tiempo lo dirá, y ojalá tengas razón. Pero las cosas se mueven rápido. En mi departamento ya hemos recibido instrucciones explícitas de que hay que ir levantando la mano.

    El R.D. es pájaro en mano, la empleabilidad son ciento volando.

    ResponderEliminar