viernes, enero 19, 2007

Preguntas de elección múltiple

Ahora que viene la época de exámenes, un post de construcción de pruebas.

Los tests son muy habituales en la evaluación universitaria, bien como único modo de evaluar o como complemente a otros sistemas. El elevado número de estudiantes, junto con la facilidad de su corrección, puede ser la razón principal de su extensión como herramienta. Pero los tests, además de 'cómodos', pueden ser herramientas que aporten una valiosa información sobre el conocimiento de los estudiantes.

Hay profesores que escuchan 'examen test' y ya se ponen nerviosos, como si este sistema fuera un ejemplo perfecto de indecencia docente. Los hay que atribuyen a los tests la capacidad de evaluar únicamente conocimientos memorísticos. Algunos estiman que con estos instrumentos no se puede evaluar aprendizaje profundo, capacidad de relación de conceptos... Que los tests son, en resumen, una mierda.

Los pruebas de elección múltiple serán tan buenas como buena haya sido su construcción. Lo que limita la calidad de un test es la capacidad de sus constructores de diseñar buenas preguntas. Con ello no digo que los tests sean lo mejor, pero, desde luego, no son peores que sus alternativas. Por esto, incluyo y comento las directrices para la construcción de items que ofrecen Rafael Moreno, Rafael J. Martínez y José Muñiz, publicadas en el año 2004 en la revista Psicothema. Algunos puntos se refieren únicamente a los tests, otros a las pruebas de evaluación en general.
Nuevas directrices para la construcción de ítems de elección múltiple.

Elección del contenido que se desea evaluar

01. Debe ser una muestra representativa del contenido recogido en una tabla de especificación, evitando ítems triviales.
Los items de una prueba deberían ser representativos y relevantes. Relevantes: que tengan que ver con lo enseñado. Si durante cuatro meses no ha sido obtenido de las clases, no debería aparecer ahora en el examen. Representativo: que se pregunte más o menos por todos los temas, con una presencia equilibrada con respecto al contenido de la asignatura.

Por esto, y saliendo de los exámenes test, no sería adecuado para evaluar una materia con dos partes diferenciadas el hacer dos preguntas, de las que los alumnos sólo tuvieran que contestar a una. Se rompería la representatividad de lo que responden.
02. La representatividad deberá marcar lo sencillo o complejo, concreto o abstracto, memorístico o de razonamiento que deba ser el ítem, así como el modo de expresarlo.
Las preguntas no deben de guardar relación únicamente con el contenido de la asignatura, sino también con los procesos de pensamiento que se desean en los estudiantes. Detrás de una examen test debería haber una reflexión sobre los objetivos finales de la materia: ¿qué nivel han de alcanzar para ser calificados como aptos?; ¿tienen que ser capaces de conectar conceptos?... Si uno hace un examen fácil y que para aprobarlo no hace falta pensar sobre el material, uno después no puede tirarse de los pelos porque aprueben alumnos que apenas entiendan el contenido de la asignatura.
Expresión del contenido en el ítem

03. Lo central debe expresarse en el enunciado. Cada opción es un complemento que debe concordar gramaticalmente con el enunciado.
Lo que es lo mismo: nada de preguntas del tipo "Señale la alternativa correcta" y detrás cuatro frases sin conexión. Las alternativas tienen que seguir a la introducción de la pregunta. Y hay que cuidar que la concordancia gramatical no dé pistas sobre la respuesta correcta.
04. La sintaxis o estructura gramatical debe ser correcta. Evitar ítems demasiado escuetos o profusos, ambiguos o confusos, cuidando además las expresiones negativas.
Los exámenes tienen que evaluar el conocimiento de la materia, no la capacidad de comprensión verbal o jeroglífica de los alumnos. Las preguntas difíciles tienen que serlo porque para responder es necesario saber mucho del tema, no porque hay que ser un Sherlock Holmes lingüístico.
05. La semántica debe estar ajustada al contenido y a las personas evaluadas.

Construcción de las opciones

06. La opción correcta debe ser sólo una, acompañada por distractores plausibles.
Exámenes en los que hay que marcar desde cero hasta n alternativas correctas no ofrecen un buen funcionamiento. Los distractores (las alternativas incorrectas) han de poder ser contestadas por quienes tienen muy poca idea sobre lo que se está preguntando. Meter una alternativa 'de coña' puede ser gracioso, pero hace la medida de conocimientos de menor precisión.
07. La opción correcta debe estar repartida entre las distintas ubicaciones.
Así evitamos incluir pistas que permitan acertar no por habilidad, sino por detectar nuestra incapacidad de aleatorizar el orden de las correctas. Al menos, reducimos el impacto que pueda tener el que algunos alumnos tiendan a contestar siempre a una misma alternativa. Imaginad un alumno que le tiene cariño a la opción B y que coincide que esa es la que mayoritariamente es en nuestro test la correcta.
08. Las opciones deben ser preferiblemente tres.
¡Cuántos artículos escritos sobre este tema! La teoría dice que lo mejor sería un número elevado de alternativas, porque, así, la probabilidad de acertar por azar sería baja. La práctica dice que esto no funciona tan bien, por lo señalado en el punto 06. A partir de un cierto número de alternativas (tres, por lo general), cuesta horrores hacer alternativas creíbles.
09. Las opciones deben presentarse usualmente en vertical.

10. El conjunto de opciones de cada ítem debe aparecer estructurado.
Haga sencilla la vida a sus examinados. Por ejemplo, si las alternativas son tres distintos valores, ordénelos de menor a mayor. Se facilita la tarea y se reducen los posibles despistes. Queremos medir conocimientos, no tendencia a despistarse.
11. Las opciones deben ser autónomas entre sí, sin solaparse ni referirse unas a otras. Por ello, deben evitarse las opciones «Todas las anteriores» y «Ninguna de las anteriores».
Las alternativas han de ser excluyentes. Si dos incorrectas se solapan, al rechazar una rechazamos automáticamente la otra. Y si dos correctas se solapan y son correctas, ¿a cuál respondemos? La idea de preguntar por "¿Cuál de estas preguntas le parece más correcta?" no es una buena idea.
12. Ninguna opción debe destacar del resto ni en contenido ni en apariencia.
Si la que destaca es la correcta, malo. Ahí tienen una pista. Y si destaca una incorrecta, malo. En lugar de un examen, parece que hemos hecho una juego de trampas.

La idea es que una persona con muy poco conocimiento debería de responder con igual probabilidad a cualquiera de las alternativas. Si alguna resalta, atraerá respuestas y hara incorrecto el supuesto anterior.

A estos doce puntos, añado yo uno personal: las respuestas incorrectas deben descontar. Por cada (número de alternativas - 1) incorrectas se quita una correcta.

Pensemos en una examen verdadero/falso de 100 preguntas. Una persona sin la menor idea contestará, por azar, cincuenta correctas. Si uno descontamos, uno persona sin idea aprobaría. Si descontamos según lo dicho, una persona que no sabe nada sacará 50 - 50, obtendrá un cero.

Espero que este post les sea de utilidad. Más información la pueden obtener en el artículo enlazado o en esta página web.

7 comentarios:

  1. Muy interesante. Yo hago exámenes tipo test y, según lo que cuentas, no lo hago del todo mal. En lo que no sigo las recomendaciones (que yo desconocía) es en el número de respuestas. Mis alumnos tienen que elegir 1 correcta de 4 posibilidades. Si aciertan, suman 3 puntos; si fallan, se les resta 1. En algún sitio leí que esta manera de descontar era correcta, según la probabilidad de acertar al azar.

    ResponderEliminar
  2. Durante años he usado tests para evaluar a grupos muy grandes de estudiantes. Por comodidad y porque, cuando yo estudiaba, me gustaban los tests como elementos de evaluación.

    Sin embargo, no me han funcionado en asignaturas con varios grupos y varios profesores porque, muchas veces, se trivializan las preguntas para ser aceptadas por todos los profesores.

    Particularmente, aunque me lleva más tiempo, prefiero los exámenes de preguntas cortas con espacio limitado. Pero sólo estoy dispuesto a hacerlo con grupos razonables (60 matriculados y 30-40 presentados a examen)

    ResponderEliminar
  3. En toda la carrera no hice ni un sólo examen de desarrollar (con palabras, los dibujitos que usamos en orgánica sí) y, la verdad, me parece es sistema más justo, a parte del que pude reflejar un mayor conocimiento de la materia, puesto que no entra en juego el factor suerte de "esto espero que no entre y no lo estudio".

    ResponderEliminar
  4. Creo que, en efecto, los exámenes "tipo test" tienen varias ventajas (si, naturalmente, están bien formulados), pero también tienen una limitación, al menos para algunas materias: no revelan la capacidad del alumno para exponer él mismo los conocimientos, para construir un "relato" en el que relacione los datos que ha estudiado.

    Yo, cuando he tenido grupos grandes de alumnos, he optado por hacer un examen dividido en tres partes: una primera muy amplia "tipo test", que me permitía saber si los alumnos conocían al menos lo básico de todas las lecciones (me parece muy mal que se pueda aprobar o incluso "llevar nota" habiendo estudiado unos temas sí y otros no, dependiendo del mero azar de "lo que ha caído"); una segunda parte con tres o cuatro "temas" relativamente cortos (y más o menos semejantes a partes concretas del temario oficial), y una tercera parte en la que los alumnos debían responder "in extenso" y con cierta originalidad a alguna pregunta (a elegir entre tres o cuatro que yo les proponía) de forma que se vieran obligados a combinar elementos procedentes de muy distintas partes del temario (e, incluso, del resto de los estudios de la carrera).

    Naturalmente, yo sólo corregía la segunda parte de la prueba si en el test se demostraba tener un aceptable conocimiento global del temario; con esta primera parte y unos resultados más o menos modestos en la segunda, se podía aprobar, pero sólo corregía la tercera parte de los alumnos que consideraba que podían aspirar "a nota".

    Todo esto, claro, en la época en la que las clases eran muy numerosas. Ahora estoy muy al borde de quedarme sin alumnos (espero poder creer que esto no es una consecuencia de aquellos largos exámenes)..., pero eso es otro asunto.

    ResponderEliminar
  5. es interesante todo esto estoy en el colegio y me mendaron a consultar. en esta pag. encontre todo gracias.

    ResponderEliminar
  6. Egun on, buenos días. Buscando, no tan al azar, he encontrado esta página tuya. Muy práctica y muy interesante.

    Con todo mi respeto, espero no ofender, he visto al final del artículo esta frase: "Pensemos en una EXAMAN verdadero/falso de 100 preguntas. Una persona sin la menor idea CONTETARÁ...". Gotzo

    ResponderEliminar