Preguntas de elección múltiple

Ahora que viene la época de exámenes, un post de construcción de pruebas.

Los tests son muy habituales en la evaluación universitaria, bien como único modo de evaluar o como complemente a otros sistemas. El elevado número de estudiantes, junto con la facilidad de su corrección, puede ser la razón principal de su extensión como herramienta. Pero los tests, además de 'cómodos', pueden ser herramientas que aporten una valiosa información sobre el conocimiento de los estudiantes.

Hay profesores que escuchan 'examen test' y ya se ponen nerviosos, como si este sistema fuera un ejemplo perfecto de indecencia docente. Los hay que atribuyen a los tests la capacidad de evaluar únicamente conocimientos memorísticos. Algunos estiman que con estos instrumentos no se puede evaluar aprendizaje profundo, capacidad de relación de conceptos... Que los tests son, en resumen, una mierda.

Los pruebas de elección múltiple serán tan buenas como buena haya sido su construcción. Lo que limita la calidad de un test es la capacidad de sus constructores de diseñar buenas preguntas. Con ello no digo que los tests sean lo mejor, pero, desde luego, no son peores que sus alternativas. Por esto, incluyo y comento las directrices para la construcción de items que ofrecen Rafael Moreno, Rafael J. Martínez y José Muñiz, publicadas en el año 2004 en la revista Psicothema. Algunos puntos se refieren únicamente a los tests, otros a las pruebas de evaluación en general.

Nuevas directrices para la construcción de ítems de elección múltiple.

Elección del contenido que se desea evaluar

01. Debe ser una muestra representativa del contenido recogido en una tabla de especificación, evitando ítems triviales.

Los items de una prueba deberían ser representativos y relevantes. Relevantes: que tengan que ver con lo enseñado. Si durante cuatro meses no ha sido obtenido de las clases, no debería aparecer ahora en el examen. Representativo: que se pregunte más o menos por todos los temas, con una presencia equilibrada con respecto al contenido de la asignatura.

Por esto, y saliendo de los exámenes test, no sería adecuado para evaluar una materia con dos partes diferenciadas el hacer dos preguntas, de las que los alumnos sólo tuvieran que contestar a una. Se rompería la representatividad de lo que responden.

02. La representatividad deberá marcar lo sencillo o complejo, concreto o abstracto, memorístico o de razonamiento que deba ser el ítem, así como el modo de expresarlo.

Las preguntas no deben de guardar relación únicamente con el contenido de la asignatura, sino también con los procesos de pensamiento que se desean en los estudiantes. Detrás de una examen test debería haber una reflexión sobre los objetivos finales de la materia: ¿qué nivel han de alcanzar para ser calificados como aptos?; ¿tienen que ser capaces de conectar conceptos?... Si uno hace un examen fácil y que para aprobarlo no hace falta pensar sobre el material, uno después no puede tirarse de los pelos porque aprueben alumnos que apenas entiendan el contenido de la asignatura.

Expresión del contenido en el ítem

03. Lo central debe expresarse en el enunciado. Cada opción es un complemento que debe concordar gramaticalmente con el enunciado.

Lo que es lo mismo: nada de preguntas del tipo "Señale la alternativa correcta" y detrás cuatro frases sin conexión. Las alternativas tienen que seguir a la introducción de la pregunta. Y hay que cuidar que la concordancia gramatical no dé pistas sobre la respuesta correcta.

04. La sintaxis o estructura gramatical debe ser correcta. Evitar ítems demasiado escuetos o profusos, ambiguos o confusos, cuidando además las expresiones negativas.

Los exámenes tienen que evaluar el conocimiento de la materia, no la capacidad de comprensión verbal o jeroglífica de los alumnos. Las preguntas difíciles tienen que serlo porque para responder es necesario saber mucho del tema, no porque hay que ser un Sherlock Holmes lingüístico.

05. La semántica debe estar ajustada al contenido y a las personas evaluadas.

Construcción de las opciones

06. La opción correcta debe ser sólo una, acompañada por distractores plausibles.

Exámenes en los que hay que marcar desde cero hasta n alternativas correctas no ofrecen un buen funcionamiento. Los distractores (las alternativas incorrectas) han de poder ser contestadas por quienes tienen muy poca idea sobre lo que se está preguntando. Meter una alternativa 'de coña' puede ser gracioso, pero hace la medida de conocimientos de menor precisión.

07. La opción correcta debe estar repartida entre las distintas ubicaciones.

Así evitamos incluir pistas que permitan acertar no por habilidad, sino por detectar nuestra incapacidad de aleatorizar el orden de las correctas. Al menos, reducimos el impacto que pueda tener el que algunos alumnos tiendan a contestar siempre a una misma alternativa. Imaginad un alumno que le tiene cariño a la opción B y que coincide que esa es la que mayoritariamente es en nuestro test la correcta.

08. Las opciones deben ser preferiblemente tres.

¡Cuántos artículos escritos sobre este tema! La teoría dice que lo mejor sería un número elevado de alternativas, porque, así, la probabilidad de acertar por azar sería baja. La práctica dice que esto no funciona tan bien, por lo señalado en el punto 06. A partir de un cierto número de alternativas (tres, por lo general), cuesta horrores hacer alternativas creíbles.

09. Las opciones deben presentarse usualmente en vertical.

10. El conjunto de opciones de cada ítem debe aparecer estructurado.

Haga sencilla la vida a sus examinados. Por ejemplo, si las alternativas son tres distintos valores, ordénelos de menor a mayor. Se facilita la tarea y se reducen los posibles despistes. Queremos medir conocimientos, no tendencia a despistarse.

11. Las opciones deben ser autónomas entre sí, sin solaparse ni referirse unas a otras. Por ello, deben evitarse las opciones «Todas las anteriores» y «Ninguna de las anteriores».

Las alternativas han de ser excluyentes. Si dos incorrectas se solapan, al rechazar una rechazamos automáticamente la otra. Y si dos correctas se solapan y son correctas, ¿a cuál respondemos? La idea de preguntar por "¿Cuál de estas preguntas le parece más correcta?" no es una buena idea.

12. Ninguna opción debe destacar del resto ni en contenido ni en apariencia.

Si la que destaca es la correcta, malo. Ahí tienen una pista. Y si destaca una incorrecta, malo. En lugar de un examen, parece que hemos hecho una juego de trampas.

La idea es que una persona con muy poco conocimiento debería de responder con igual probabilidad a cualquiera de las alternativas. Si alguna resalta, atraerá respuestas y hara incorrecto el supuesto anterior.

A estos doce puntos, añado yo uno personal: las respuestas incorrectas deben descontar. Por cada (número de alternativas - 1) incorrectas se quita una correcta.

Pensemos en una examen verdadero/falso de 100 preguntas. Una persona sin la menor idea contestará, por azar, cincuenta correctas. Si uno descontamos, uno persona sin idea aprobaría. Si descontamos según lo dicho, una persona que no sabe nada sacará 50 - 50, obtendrá un cero.

Espero que este post les sea de utilidad. Más información la pueden obtener en el artículo enlazado o en esta página web.