Evaluar para para potenciar el aprendizaje, evaluar para certificar

Los métodos y requisitos de la evaluación probablemente tienen más influencia en cómo y qué aprenden los estudiantes que cualqueir otro factor individual. Esta influencia es posible que tenga mayor importancia que el impacto de los materiales de enseñanza. Boud (1988)

Los modos de evaluación determinan en gran medida la dinámica y resultados de aprendizaje de nuestro alumando. Lo hace a varios niveles:
-  El nivel de aprendizaje conseguido por nuestro alumnado va a venir determinado en una importante medida por el nivel exigido, tanto en su amplitud (extensión del temario) como profundidad (nivel de abstracción). Si para aprobar resulta suficiente como memorizar sin comprender, no puede sorprendernos que una parte de los estudiantes... memoricen sin aprender.
- Los ritmos de aprendizaje y trabajo guardan relación con los ritmos de evaluación. Si un alumno se juega el 100% de su calificación en un único examen final, estamos potenciando el aprendizaje no distribuido, la concentración del esfuerzo en un periodo concentrado de tiempo. Estas estrategias intensivas de aprendizaje, si bien pueden llevar a aprobar, generar un ritmo de caída de los conocimientos mayor que el aprendizaje distribuido.
- La posibilidad de regulación de las estrategias de aprendizaje por parte del alumnado cae si su único de saber que está afrontando mal la tarea es con un suspenso en la calificación final. Un estudiante no debería enterarse de que está afrontando mal el reto de una asignatura cuando ya es demasiado tarde, en la misma medida que un profesor no debería ser consciente de todo lo que sus alumnos no están entendiendo cuando ya está como para despedirse de ellos.

La evaluación, por otro lado, sirve también para acreditar aprendizajes. Una vez nuestros estudiantes aprueban los créditos requeridos consiguen un título que les abre las puertas a algunas profesiones reguladas o que, sencillamente, los señalan como profesionales supuestamente competentes. Aprobar a los estudiantes sin que hayan conseguido lo que se esperan que consigan (competencias, objetivos...) es no cumplir con la función social de la universidad.

En este post quiero mostrar una propuesta de evaluación con la que llevo trabajando durante siete años en una asignatura y que recientemente hemos extendido a otra más del área. Con este propuesta se busca potenciar el aprendizaje, al mismo tiempo que se hace el sistema robusto en términos de fiabilidad y validez. Describiré en primer lugar el contexto de la asignatura en la que lleva más años implantado y después el sistema con su justificación educativa.

Contexto
La asignatura Metodología de la Investigación III del grado de Psicología de la Universidad de Zaragoza es una asignatura de seis créditos ECTS, lo cual se traduce en una dedicación esperable por parte del alumnado de unas 150 horas. Son 14-15 semanas docentes con dos horas de teoría y dos de prácticas (cuatro grupos de prácticas). Eso lleva a unas 60 horas presenciales y deja unas 90 de no presenciales, que quedarían en unas 6 horas/semana de trabajo no presencial.

Es la última del área de conocimiento Metodología de las Ciencias del Comportamiento. Si bien gran parte de los títulos de grado de Psicología en España cuenta con, al menos, cuatro asignaturas del área de Metodología, en la UZ se optó por solo tres.

Al acabar esta asignatura, y con ello la formación del alumnado obligatoria en el campo, se espera que sean capaces de:
- Manejar y traducir entre los tres lenguajes estadísticos: el teórico, el numérico y el gráfico.
- Manejar el software estadístico SPSS como para poder realizar análisis de datos y darle interpretación a los resultados.
- Leer e interpretar textos científicos con contenido metodológico, como artículos o manuales.
- Diseñar, ejecutar y redactar un proyecto de investigación.


Resumiendo el temario, se cubren contenidos de regresión lineal, análisis de varianza y psicometría.

En líneas generales, se asume que hoy por hoy la mayor parte de los cálculos estadísticos se realizan mediante programas especializados (en nuestro caso, SPSS). Por ello, no se busca desarrollar la capacidad de cálculo estadístico o de manejo de tablas estadísticas o similares, sino la capacidad de razonamiento, inferencia, interpretación y traducción de los diferentes lenguajes estadísticos.


Un elemento clave de contexto es la dedicación docente que el profesorado está dispuesto a asumir. En tanto que no hay guías rígidas al respecto, esto queda como decisión personal. Habitualmente esta asignatura la ha asumido en su totalidad un único profesor (quien esto escribe). Yo entiendo como razonable dedicarle a la docencia aproximadamente el 35%-40% de mi jornada laboral, teniendo en cuenta que estoy involucrado en gestión. Entre unas cosas y otras, eso supondría dedicarle unos tres días, tres días y medio por semana a esta asignatura en durante el segundo cuatrimestre.

Sistema de evaluación
Hay cinco elementos de valoración para la calificación final. Estos son:
- Prácticas semanales.
* Cada semana se plantea una práctica de entrega en la semana siguiente. Son prácticas en gran medida de manejo e interpretación de salidas del SPSS. Encajan con las habilidades que se van a demandar en el examen final, de tal modo que el alumnado no tiene incertidumbre sobre el nivel de exigencia y no hay tiempo invertido en tareas que, en términos de exigencia posterior por parte del profesor, van a resultar irrelevantes.
* Las prácticas semanales suponen un volumen de trabajo como para que el completarlas requiera trabajo en el aula y fuera de ella. Si como profesores queremos que trabajen fuera del aula (y según la métrica de los créditos ECTS, deberían), hemos de darles trabajo, orientarles en qué trabajo han de completar. Y, en la medida de lo posible, hemos de distribuir ese trabajo a lo largo de todo el cuatrimestre. Teniendo en cuenta cómo suelen otros profesores estructurar sus asignaturas, a mí me permite demandar trabajo del alumnado en meses que habitualmente son más relajados en otras materias (los primeros del cuatrimestre).
* Las prácticas también podrán entregarse sin ninguna restricción en el caso de no ir a clases de prácticas. La asistencia es opcional. Hacer la asistencia obligatoria a mí me parece una aberración. Que quien vaya a clase sea porque algo le estamos aportando y lo considere adecuado. Si se está perdiendo algo, ya suspenderá. Si no se está perdiendo nada, ya nos enteraremos de la utilidad de nuestras clases cuando veamos que los absentistas consiguen aprobar.
* Cada una de las prácticas entregadas se valorará con un 0 o un 1. El 0 corresponde a la no entrega de la práctica o a la entrega por debajo de los mínimos de elaboración. El 1 para la entrega de una práctica trabajada. (Trabajada, no necesariamente todo correcto. Existiendo Moodle y tutorías, un práctica con preguntas sin ni siquiera intentarlo no cuenta como trabajada). El objetivo de las prácticas semanales es potenciar el trabajo continuado, no la evaluación perpetua. La evaluación perpetua, simplemente, no es viable para mí como profesor. A final de cuatrimestre he recibido más de 500 prácticas. Entrar a una corrección más pormenorizada desbordaría el tiempo que le puedo dedicar a la asignatura. Aparte, la experiencia señala que una parte del alumnado no atiende al feed-back que se le suministra. En el caso de que alumnos lo soliciten, en tutorías se les desarrolla y corrigen sus prácticas. Esto no niega que las correcciones pormenorizadas y próximas en el tiempo a la entrega sean deseables, pero estamos en el mundo de lo viable, no de lo deseable.
* Las prácticas podrán ser individuales, en pareja o en tríos. Hay que dotar de flexibilidad el sistema para que los estudiantes encuentren acomodo en él.
* Las bases de datos con las que se trabaja son bases de datos reales, no simuladas, sobre contenidos que aspiran a ser relevantes para el alumnado. Un problema habitual en las asignaturas de Metodología es la percepción de que la estadística es, en realidad, algo ajeno a la Psicología. Se busca reducir esa idea y potenciar la idea de que la Metodología es una de las herramientas que construye Psicología.
*  La nota máxima para la calificación final (de 0 a 10) que se puede obtener mediante prácticas es de 1, donde el 1 se obtendrá en el caso de haber entregado todas las prácticas posibles y el 0 si no se ha entregado ninguna.

- Examen parcial.
* Durante el cuatrimestre se realiza un examen parcial. Alumnos y profesor han de poder monitorizar su ejecución antes de que sea para todos demasiado tarde. Adicionalmente, ayuda a que el carga de trabajo y estudio se distribuya a lo largo del cuatrimestre.
* Este examen parcial cubre contenidos vistos en clases de teoría. Con 100 alumnos o más y un solo profesor, un examen con ordenadores no resulta fácilmente asumible a mitad de cuatrimestre.
* Se trata de un examen con preguntas de elección múltiple. Intento ajustar los procesos cognitivos requeridos para solucionar los ítems a los objetivos de aprendizaje establecidos en la guía de la asignatura. Por tanto, como entre los objetivos no se incluyen verbos como "memorizar" las preguntas no se pueden resolver únicamente a través de memoria. ¿Implica esto que el alumnado no ha de memorizar? En ninguna medida. Si uno evalúa procesos de alto nivel, se entiende que para llegar a ellos se han de haber cubierto los de nivel más bajo.
* El alumnado dispone a través de Moodle de los exámenes parciales de cursos anteriores y ejemplos de ítems corregidos y explicados. Cuando el alumnado se sorprende por lo que se le pregunta en un examen, señal de que el proceso de evaluación está mal diseñado. Los estudiantes tienen derecho a saber con detalle qué se les va a pedir.
* El examen no libera materia. Uno de los mayores retos docentes no es que el alumnado sepa A, sino que sepa cuándo toca A y cuándo toca B. Si en el parcial cubro regresiones y para el final solo dejo ANOVAs, no voy a poder evaluar si saben a qué contexto y pregunta de investigación corresponde cada técnica, porque el temario asignado a cada examen ya les da la respuesta. Por otro lado, liberando materia no se ayuda a distribuir el aprendizaje, sino a hacer dos intensivos. Estudiar dos veces, para parcial y para final, es lo que ayuda a una mayor retención a largo plazo.
* El parcial es opcional. El único momento en el que yo puedo requerir asistencia es en el examen final. Hay que respetar la autonomía del alumnado.
* La nota en el parcial solo se tiene en cuenta en el caso de que suba nota con respecto al examen final. Si en el parcial un alumno obtiene un 6 sobre 10 y en el final un 8 sobre 10, es como si el parcial no hubiera existido. Si el patrón es el contrario, sí que se cuenta el parcial. En otras palabras, el resultado del parcial no puede penalizar. Esto aligera de posibles quejas ("el día del parcial yo tenía médico" = no pasa nada) y, más importante, contribuye a que el alumnado al que le ha ido mal en el parcial no se descuelgue por sentir que ya ha perdido nota de la calificación final. Si el parcial va bien, nota que uno saca; si va mal, oportunidad de aprendizaje.
* La nota máxima que se puede obtener en gracias al parcial es de 2 puntos en la calificación final.

 - Examen final.
* En las convocatorias oficiales de junio y septiembre se realizará un examen con dos partes, una con preguntas de elección múltiple y la otra con ordenador (obtención de resultados con SPSS e interpretación de los mismos). Se intenta garantizar con este examen doble el encaje evaluación-docencia-objetivos de aprendizaje.
* El alumnado tiene disponibles exámenes de convocatorias anteriores. La última práctica semanal y las preguntas de algunas previas son preguntas que han sido de examen. Se intenta reducir la incertidumbre y acomodar la docencia a los objetivos docentes.
* Se busca que haya concordancia entre objetivos y demandas para responder las preguntas. Así, por ejemplo, se puede preguntar "¿cuántos hombres y cuántas mujeres han respondido a la encuesta?" (con la correspondiente base de datos), pero no "obtén la distribución de frecuencia de la variable sexo", puesto que la segunda opción no evalúa sin capaces de traducir lenguaje natural a lenguaje estadístico.
* Para cada examen disponen de un tiempo máximo de dos horas y media. En general, suelen terminar antes. Esto permite realizar exámenes de una extensión suficiente como para posibilitar una fiabilidad suficiente y, al mismo tiempo, que se evalúe conocimientos y no velocidad de ejecución, peusto que esto segundo es objetivo de la asignatura.
* Tanto para teórico como para práctica pueden llevar una hoja con las notas manuscritas que consideren oportunas. Con esto se busca reducir su posible ansiedad y les anima a estructurar en un resumen/esquema toda la asignatura. Dado que las preguntas aspiran a cubrir contenidos de nivel no memorístico, que puedan llevar notas no lleva a que puedan aprobar solo a partir de ellas. (En el parcial pueden llevar notas por solo una cara.)
*  Cada parte irá evaluada sobre 2 puntos de la calificación final sobre, para dar una nota conjunta de hasta 4 puntos. En el caso de no haberse presentarse al examen parcial o de que la nota del examen final sea superior a la del parcial, no se tendría en cuenta la nota del parcial y el examen final valdría hasta 6 puntos.
* En el caso de no presentarse a alguno de las dos partes del examen, la calificación en la asignatura será de 'No presentado'. Dado que tiene efectos en términos de convocatorias consumidas o acceso a aprobado por compensación curricular, se señala claramente esto.

- Informe de investigación.
* Los estudiantes eligen un tema sobre el que investigar, realizar una breve revisión de conocimientos previos (y, para ello, leer los artículos más relevantes al respecto), diseñar un sistema de recogida de datos, conseguir los datos, analizarlos y redactar un informe según el estilo APA. De esto modo, intento compensar el que casi siempre en las asignaturas de Metodología el alumnado está respondiendo a preguntas ajenas con bases de datos ajenas. Se les da la oportunidad de plantearse sus propias preguntas, pensar cómo responderlas y cómo gestionar el proceso entero. Hay alumnos que quieren comerse el mundo de la Psicología y que se sienten constreñidos si no les damos opciones de salir con sus preguntas, sus curiosidades, sus intereses. Para algunos estudiantes, es el modo de acercarse a temas sobre los que tal vez vayan a especializarse más adelante, contactar con colectivos, salir de la facultad...

* Al igual que con las prácticas semanales, le entrega puede ser individualmente, en parejas o tríos. Ni para todas las prácticas semanales ni para este trabajo se pide que la composición de los grupos sea estable en el tiempo. Forzar estabilidad genera problemas para ellos y para el profesorado.
* Esta tarea, en comparación con las otras, es más desestructurada, en el sentido de que no se les exige en igual medida trabajo continuado o se les establece un formato rígido. Esto se debe a dos motivos. Por un lado, que mi disponibilidad de tiempo llega hasta donde llega. Segundo, que entiendo que en sí mismo es bueno que tengan que abordar tareas más abiertas. Como de costumbre, se les ofrece todo el apoyo que demanden a través de tutorías.
* De esta tarea se derivan hasta 3.3 puntos de la calificación final sobre 10. Se evalúan introducción, método, resultados, discusión y conclusión y formato APA, más ambición y originalidad del trabajo.

- Lectura de libros.
* Se proponen libros y artículos de corte más teórico junto con un análisis a realizar sobre ellos. El objetivo es que lean contenidos de corte metodológico, pero no ceñidos al temario.
* Este apartado puede llegar a sumar hasta 1 punto a la nota final, con medio punto por cada trabajo.

Por tanto, el alumnado puede llegar a obtener en la asignatura 1 (prácticas semanales) + 2 (parcial) + 4 (exámenes finales) + 3.3 (informe de investigación) + 1 (libros) = 11.3 puntos en total.


En cualquier caso, para aprobar es necesario obtener y satisfacer los dos requisitos siguientes:
- Una nota final en toda la asignatura igual o superior a 5. Con esto se busca tapar el posible coladero a quienes van a rebujo en los grupos de prácticas. Uno puede no hacer nada en las prácticas semanales y en el trabajo de investigación y que otros pongan su nombre. De ese modo, tendría acceso hasta a cuatro puntos, cerca del cinco. En general, quien no ha trabajo de forma más o menos continuada en la asignatura alcanza resultados muy bajos en el examen, de tal modo que le queda cerrada la puerta del aprobado. Entiendo que los beneficios del trabajo grupal (apoyo y aprendizaje entre compañeros, menor carga para el profesorado) superan los posibles costes (descontrol en la evaluación individual), especialmente cuando se exigen unos mínimos en lo puramente individual (examen final).

- Una nota en el examen final superior a X (sobre 10) en ambas partes del examen. X es igual a 5 menos 0'05 por el número de prácticas semanales entregadas. Por tanto, quien no entregue ninguna práctica tendrá que sacar al menos un 5 en ambas partes, y por cada práctica entregada baja el listón del filtro. Con esto se quiere garantizar que se satisfagan unos mínimos en teoría y práctica. Que el punto de corte se reduzca según las prácticas entregadas lleva a recompensar el trabajo (que es mucho) semanal. Este sistema, ayuda, también, a justificar y suavizar las revisiones de calificaciones. Si un alumno suspende porque tiene un 4.9 en el examen teórico, señal de que no entregó ni dos prácticas semanales, que era algo que tenía fácilmente a su alcance. Si el punto de corte lo tenía en 4.3 y ha suspendido, señal de que tenía menos que esa nota, que es fácilmente defendible que es tan baja como para no poderse conceder el aprobado.

Gracia a este sistema de evaluación, el nivel de exigencia en la asignatura conseguimos que sea alto, puesto que el trabajo distribuido y guiado ayuda a alcanzar cotas más elevadas; se trabajan varios niveles, desde más pautados a abiertos y creativos; la calificación es bastante robusta, fiable y válida. Espero que alguna de estas ideas pueda servir de ayuda a quien se esté planteando diseñar un sistema para sus asignaturas.