Análisis de la estructura interna de un test - Análisis factorial

Dada la importancia de las diferentes técnicas para el análisis de la estructura interna de un cuestionario, vamos a examinar las características de tres modelos disponibles para este propósito. Por un lado, el análisis factorial exploratorio y el análisis factorial confirmatorio, y, por otro lado, una propuesta más reciente, los modelos exploratorios de ecuaciones estructurales (Asparouhov & Muthén, 2009).

Análisis Factorial Exploratorio (EFA, por sus siglas en inglés)
El EFA se considera habitualmente como una técnica guida por los datos (Fabrigar, Wegener, MacCallum, & Strahan, 1999), dado que su uso no requiere de una sólida teoría que asigne ítems a factores. El EFA es habitualmente usado con el propósito de obtener una estructura simple e interpretable. Por estructura simple se entiende que cada ítem sature principalmente en único factor; por interpretable, que la distribución de ítems a factores permita establecer claramente qué es lo que está midiendo cada factor. Nos ceñiremos ahora en describir dos de los limitaciones del EFA (Brown, 2006).

Primero, en un EFA la covarianza entre ítems ha de ser explicada únicamente a través de las cargas en los diferentes factores. Ítems que comparten algún elemento en su redactado sin relevancia teórica (p.ej., ítem redundantes y ítems inversos) pueden mostrar una mayor covariación de la que la puede ser explicada meramente por sus relaciones con el constructo medido. En estos casos, la interpretación de la estructura interna del cuestionario resulta compleja o directamente errónea.

Segundo, el EFA no permite la correcta evaluación de la invarianza de medida a través de diferentes grupos (Meredith, 1993). Un test administrado a dos grupos diferentes puede ofrecer puntuaciones con interpretación no comparable. Un resultado dado, tanto en puntuación latente como observada, puede tener una interpretación diferente dependiendo del grupo al que pertenezca el evaluado. La comparabilidad de puntuaciones entre grupos ha de ser apoyada por pruebas. Para poner a prueba la invarianza (p.ej., Dimitrov, 2010), lo que se evalúa es la igualdad (o mínima diferencia) entre las líneas de regresión que relacionan las puntuaciones factoriales (o variable predictora) con la puntuación en el ítem (variable criterio). En este contexto, la línea de regresión está especificada por la pendiente (carga factorial) y y valor en el criterio cuando el predictor es igual a 0 (el intercepto). Las técnicas de evaluación de invarianza desarrolladas en el marco del EFA permiten únicamente evaluar la similaridad entre cargas (Meredith, 1964), no entre interceptos. Por tanto, el EFA no permite descartar el funcionamiento diferencial de un instrumento entre grupos.

Otras limitaciones no corresponderían al EFA en su mismo como técnica, sino al mal uso de la misma. Así, por ejemplo, el emplear análisis de componentes principales (técnica de reducción de dimensiones), en lugar de técnicas factoriales, de tal modo que se sobreestiman las cargas factoriales; emplear rotaciones ortogonales cuando se espera y se encuentra correlación entre dimensiones, por lo que la estructura generada no es simple y no encaja con lo observado; o la incapacidad para informar en una parte importante de los artículos sobre los criterios para determinar el número de factores, obviando que el número de factores retenidos es una decisión del analista de datos que ha de justificarse. Una parte importante de estos problemas se explican por la tendencia a dar por buenos las opciones por defecto de los programas de análisis.

Confirmatory Factor Analysis (CFA, por sus sigles en inglés)
El CFA es considerado una técnica guiada por la teoría, puesto que el número de dimensiones y las relaciones ítems-factores a través de los cuales explicar la matriz de covarianzas han de estar apoyados por una teoría previa sólida o por previos EFAs en los que se ha encontrado una estructura simple. En un CFA las cargas factoriales se estiman habitualmente con la restricción de que cada ítem saturará únicamente en el factor esperado, y el resto de cargas de ese ítem se fijan a 0. Se pueden incluir unicidades correlacionadas en el modelo, de tal modo que las cargas no se distorsionan por factores espurios o por redundancias entre ítems. Para los CFAs, lo estándar es informar de índices de ajuste, índices que informan de la medida en la que el modelo puesto a prueba reproduce satisfactoriamente la matriz de covarianzas muestral (Brown, 2006). (Estos índices también están disponibles para los EFAs, aunque es extremadamente infrecuente informar de ellos en el caso de emplear esa técnica.)

El CFA permite evaluar la invarianza de medida. Poner a prueba la invarianza de la estructura interna de una escala supone una serie de pasos sucesivos (Vandenberg & Lance, 2000). El primer paso es poner a prueba que el modelo se ajusta para cada uno de los grupos por separado. De no cumplirse este paso, no tiene sentido proceder adelante. El segundo paso es evaluar la invarianza de forma: ¿es el número de factores y la distribución de ítems por factores la misma para los diferentes grupos? En el caso de que este modelo ajuste, el siguiente paso es evaluar si las cargas factoriales son las mismas entre los grupos. La invarianza de las cargas se acepta cuando la reducción en el ajuste es mínima. El siguiente paso es evaluar si los interceptos de los ítems pueden igualarse entre grupos. El mismo criterio, decremento mínimo en el ajuste en comparación con el modelo previo, se usa para evaluar esta invarianza. Si se satisfacen todas estas invarianzas, la escala funciona igual entre grupos y, por ello, las puntuaciones pueden ser comparadas entre grupos.

La limitación principal del CFA es su supuesto restrictivo: la estructura factorial es completamente simple (Asparouhov & Muthén, 2009). El método para establecer simpleza factorial con un EFA o con un CFA varía. En un EFA el criterio para considerar una estructura simple is habitualmente la ausencia de cargas destacables (p.ej., por encima de 0.30) en factores en los que los ítems no pertenecen teóricamente,  no son asignados. Sin embargo, cargas de pequeño tamaño pueden ser estadísticamente significativas, diferentes de 0. De hecho, la práctica común es no evaluar la significación estadística de las cargas (Cudeck & O’Dell, 1994; Jennrich, 2007). En un CFA, por otro lado, cualquier carga factorial diferente de 0 no modelada reduce el ajuste del modelo y puede sesgar los resultados. Esto supone que algunos instrumentos de evaluación teóricamente consolidados, apoyados por extensa investigación, no ofrecen un ajuste aceptable cuando se modelan con un CFA (Marsh et al., 2009).

De nuevo, la limitación descrita se ciñe a la técnica, no al empleo de la técnica. En su uso, destacaríamos como problemas la naturaleza en muchas ocasiones exploratoria de la técnica, poniendo a prueba multitud de modelos (por ello, algunos autores prefieren hablar de análisis con restricción de parámetros para el CFA y de análisis no restringido para el EFA); la capitalización del azar dados tamaños muestrales pequeños y uso intensivo de los índices de modificación para reespecificar el modelo, lo cual reduce las opciones de poder reproducir tal modelo en una muestra nueva; o el no analizar las áreas de desajuste y ceñirse únicamente a valores globales de ajuste, lo que puede enmascarar problemas del modelo.

Modelos Exploratorios de Ecuaciones Estructurales (ESEM - exploratory structural equation modeling, por sus siglas en inglés)
El ESEM (Asparouhov & Muthén, 2009) incorpora muchas de las ventajas del CFA pero está libre de sus limitaciones. El ESEM permite la estimación de las cargas factoriales para todos los ítems en todos los factores, luego el problema de fijar a 0 las cargas cruzadas desaparece. Cuando la matriz de cargas poblacional incluye cargas cruzadas, el ESEM recupera mejor esta matriz que el CFA y no está sujeta a distorsiones en la estimación de parámetros. Al igual que el CFA, con el ESEM se estiman tanto las cargas como los interceptos, luego la invarianza de medida puede ser puesta a prueba tal y como hemos descrito.

Podemos señalar varias limitaciones del ESEM. Primero, en términos de usabilidad, y hasta donde sabemos, el ESEM está implementado únicamente en el software Mplus. Segundo, en términos de recorrido histórico, mientras que las investigaciones sobre EFA y CFA (y con EFA y CFA como herramientas estadísticas) cuentan con décadas, el ESEM es una alternativa mucho más reciente, y esto tiene ciertas consecuencias. Por ejemplo, los puntos de corte para dar el ajuste por satisfactorio que habitualmente se emplean son los que se recomiendan para los CFAs, puesto que no se han llevado a cabo estudios específicos para el ESEM. Tercero, el ESEM también tiene sus propias limitaciones estadísticas. En el contexto del CFA el exceso de covarianza entre ítems inversos, por ejemplo, puede modelarse con unicidades correlacionadas o con un factor de método. En el ESEM esta segunda opción no está disponible, puesto que una vez que un ítem entra en un factor exploratorio no puede hacer también un uno confirmatorio. Por último, análisis factoriales de segundo orden, disponibles tanto en EFA como en CFA, no pueden realizarse con el ESEM.

Consideramos que estas limitaciones son menores y que, en cualquier caso, no reducen el enorme potencial del ESEM. Nuestros instrumentos de medida en muchas ocasiones presentan unicidades correlacionadas entre ítems y en muchas ocasiones hay cargas cruzadas. La realidad no es tan limpia como se espera al aplicar un CFA ni tan simple como se asume al aplicar un EFA.

---

Este post se sale de lo habitual en este blog. Forma parte, con algún añadido para el blog, del primer envío de un artículo que el editor recomendó abreviar y por ello cayó de la versión final. Al tenerlo ya escrito y considerar que podía ser útil para alguien, aquí lo dejo.