¿Qué es un test adaptativo informatizado?

Ayer mismo se publicaba en el repositorio de librerías de R catR, una librería para la generación, administración y simulación de tests adaptativos informatizados. Tengo la satisfacción de estar entre los autores de la librería.

Esto me servirá como excusa para publicar una serie de tres entradas en el blog, con el objetivo final de presentar algunas de las posibilidades que brinda catR. Para ello: (a) comentaré qué es un test adaptativo informatizado, (b) expondré por qué implicarse en el desarrollo de librerías, y (c) tomaré como ejemplo la detección de conducta deshonesta (copia) en procesos de selección de personal para mostrar qué puede dar de sí catR. Vayamos al primer punto.

¿Qué es un test adaptativo informatizado?

Imagine el siguiente juego. Usted lanza un dado de 100 caras y memoriza el número obtenido. Mi tarea consistirá en acercarme lo máximo posible a ese número con únicamente cuatro preguntas a las que usted responderá con un 'sí' o un 'no'. Imaginemos que ha salido un 67.

Lo más razonable sería que yo empezara preguntando "¿es el número superior a 50?" (o, su inversa y equivalente, "¿es igual o inferior a 50?"). Tras su respuesta afirmativa, que me permite descartar la mitad de los valores posibles, preguntaría "¿superior a 75?", que supone un "no" como respuesta. Con dos preguntas, ya he conseguido descartar las tres cuartas partes de los valores posibles. Ahora preguntaría, "¿superior a 63?", a la que seguiría "¿superior a 69?".

Al final de mis cuatro preguntas disponibles, el rango de valores disponibles entre los que sé que se sitúa el número va de 64 a 69. La incertidumbre se ha reducido de entre 100 valores equiprobables a sólo 6. Una gran ganancia gracias a haber sabido administrar adecuadamente las preguntas a realizar.

Si usted vuelve a tirar y, ahora, obtiene un 12, cambiará su respuesta a mi primera pregunta -esta primera, idéntica al caso anterior- y, con ello, las siguientes que le formularía. Las nuevas preguntas se van adaptando según sus respuestas a las previas para optimar la información obtenida con una de ellas.

Ahora cambiemos los papeles, usted busca el número y yo lanzo el dado. Pero con un cambio en las reglas. En este caso, las preguntas han de ser fijas para todas las veces en las que usted haya de descubrir el número. ¿Conseguirá, así, acercarse más o menos al valor del dado?

Esta modificación en el sistema altera profundamente la dinámica del mismo. Las preguntas razonables a plantear ahora son "¿es mayor de 20?, ¿de 40?, ¿de 60?, ¿y de 80?". Esto implica que, por un lado, usted se podrá aproximar en menor medida al número del dado, y, por otro lado, en ocasiones se formularán preguntas nada informativas. Imaginemos el caso en el que el número visto es un 1. Las preguntas de la 2 a la 4 no sirven para nada.

El primer caso, donde uno puede ir ajustando las preguntas, encajaría con la idea de un test adaptativo informatizado (informatizado, porque al componente adaptativo exige de ordenadores o similares). El segundo, con lo que suele llamarse un test lineal. Los tests adaptativos (o TAIs o CATs, por su abreviatura en inglés) permiten, en comparación con los tests lineales, o bien mayor precisión a igual longitud o bien menor longitud para conseguir la misma precisión.

El diagrama de un TAI es como sigue

• Tras inicializar el sistema, se estima un primer nivel de habilidad (nivel de rasgo, puntuación en lo que quiera que deseemos medir). Lo común, en este punto, es comenzar asignando como nivel provisional la media poblacional.
• Se evalúa si es necesario parar (¿hemos llegado ya a la longitud fija del test?, ¿hemos alcanzada ya un nivel de precisión suficiente?, por ejemplo).
• Se selecciona de entre las preguntas disponibles aquella que más conviene presentar, según el nivel de habilidad estimado y algunas posibles consideraciones adicionales. La regla común es presentar, de entre los todavía no administrados, aquel máximamente informativo para el nivel previsional. En la siguiente fase, se presenta la pregunta al evaluado, quien responde.

Y así volvemos con otra vuelta. Dado que la estimación se ajusta tras cada ítem, con ello cambia la ordenación de las preguntas más interesantes a presentar. Un aspecto clave en un test adaptativo es que no hay preguntas buenas o preguntas malas en genérico, sino que la calidad de las mismas depende del nivel (estimado) del examinado. Preguntar "¿mayor de 75?" es una buena opción tras un "sí" a "¿mayor de 50?", pero no tras un "no". Preguntar "87 - 58 = ?" puede ser una buena pregunta para valorar matemáticas en Primaria, no en Ciencias Exactas.

A diferencia del ejemplo del dado, las preguntas que podemos formular para medir en ciencias de salud y en ciencias sociales no nos permiten descartar por completo un cierto rango de valores. La fiabilidad de los preguntas de una en una suele ser pobre, dado que cada ítem mide lo que realmente nos interesa y, muchas veces en mayor medida, lo que no nos interesa. Pero esto no cambia la idea básica de en qué consiste un TAI.

¿Para qué se pueden emplear los TAIs? Planteémoslo de otro modo: ¿Se le ocurre algún campo en el que no pueda resultar atractiva la idea de poder mantenar la precisión de la medida, pero con tests reducidos a la mitad de preguntas? Actualmente los TAIs se emplean en evaluación educativa, psicológica, médica, selección de personal...

Quien desee profundizar en el funcionamiento de los TAIs puede leer esto, esto o esto, todos ellos textos introductorios en español. En inglés, la referencia básica es ésta.

Si desee probar un TAI, puede pasarse el test de vocabulario de inglés de la Plataforma de Evaluación UZ.