martes, marzo 25, 2014

Evaluación de profesorado en la Universidad de Zaragoza

La Universidad de Zaragoza, al igual que otras muchas universidades, administra encuestas a sus estudiantes para que éstos puedan evaluar la labor docente del profesorado. Según la palabrería clásica en estos contextos, esto se hace con los siguientes fines:

La Universidad de Zaragoza quiere ofrecer a la sociedad una enseñanza de la máxima calidad. Con ese objetivo, se dota de mecanismos internos de evaluación que permitan el reconocimiento e incentivación de lo bien hecho, la reflexión sobre las malas prácticas y la puesta en marcha de planes específicos de mejora continua.
La encuesta consta de 25 preguntas (más algunas adicionales a rellenar si el estudiante manifiesta no acudir a clase con regularidad). Las relevantes de cara a la evaluación final son únicamente éstas:
Bloque A
1. [El profesor] Informa sobre los objetivos, contenidos, bibliografía y materiales recomendados.
2. [El profesor] Informa de las pruebas y criterios de evaluación que seguirá.
3. [El profesor] Informe de los fines y horarios de las tutorías.
Bloque B
4. [El profesor] Asiste a sus clases y, en caso contrario, se justifica y se sustituye o recupera.
5. [El profesor] Es puntual al comenzar y finalizar la actividad docente.
6. El profesor atiende las tutorías.
Bloque C
7. [El profesor] Es correcto y respetuoso con el estudiante.
8. [El profesor] Tiene una actitud receptiva y muestra disposición para el diálogo.
9. [El profesor] Promueve el interés por la materia.
10. [El profesor] Durante las tutorías ayuda a la comprensión y estudio de la asignatura.
Bloque D
11. [El profesor] Explica de manera clara y ordenada, destacando los aspectos más importantes.
12. [El profesor] Relaciona unos temas con otros de la materia.
13. [El profesor] Relaciona los conceptos de la materia con sus aplicaciones.
14. La labor de este profesor hace que la asistencia a clase facilite la comprensión de la materia.
15. [El profesor] Realiza el seguimiento y asesora sobre las actividades y trabajos.
16. [El profesor] Fomenta la participación del estudiante.
17. [El profesor] Fomenta el trabajo continuo del estudiante.
Bloque E
19. La labor docente de este profesor me parece...

A cada una de estas preguntas se responde con una escala de cinco puntos de respuesta:


Esto supone que la puntuación final numérica para cada profesor se da en una escala desde 1 = Muy deficiente hasta 5 = Muy bien. Esta puntuación numérica se transforma, posteriormente, en una escala ordinal, con tres evaluaciones posibles. Hay algún matiz adicional para su paso a escala ordinal, pero la regla general es:
- Evaluación Positiva Destacada, si la media se sitúa por encima del 4 o del 3.75 si la docencia es en asignaturas troncales u obligatorias.
- Evaluación Positiva, cuando el promedio se sitúa por encima del 2 y no se alcanza el criterio para evaluación superior.
- Evaluación Negativa, cuando el promedio se sitúa por debajo de 2.

Para que quede claro, una evaluación promedio de 2 = Deficiente supone una evaluación positiva de la labor docente en la Universidad de Zaragoza.

En mi centro se ha evaluado a 144 profesores: Todos ellos han recibido evaluación Positiva o Postiva Destacada. Nadie ha merecido una evaluación negativa. Eso incluye a profesores que generan quejas recurrentes por parte de los estudiantes por faltas de respeto, por inasistencia a clases, por incapacidad mental para la docencia...

Se puede debatir cuál habría de ser el punto de corte razonable para transformar esa escala numérica en una variable con tres categorías. Pero, creo, considerar como razonable un promedio de deficiencia para una valoración positiva es ser en extremo generoso con el profesorado en activo. Y, con ello, extremadamente injusto con el resto de profesorado (los que trabajan y tienen capacidad para impartir buena docencia, tanto los que ya están dentro como los que querrían entrar) como con el alumnado.

¿Y por qué es importante el punto de corte? Ya no únicamente por el mensaje interno que se lanza al profesorado y alumnado (a ver cómo convenzo ahora a mis estudiantes de que es importante rellenar estas encuestas), sino por la importancia que tiene para la selección de personal. Según la normativa de la UZ, aquellos cursos con evaluación docente negativa (básicamente, ninguno para nadie) no cuentan como méritos docentes para concursos de profesorado.

sábado, enero 26, 2013

La educación prohibida

Si les interesa la educación, es probable que ya estén al tanto de este documental. Ahora mismo no voy a hacer ningún comentario sobre el misma. Prefiero que aquellos que no lo hayan visto se lancen a ella sin ideas previas. Sólo digo que vale la pena, sea para estar de acuerdo o discrepar.


miércoles, enero 23, 2013

Entro en Twitter

Por probar... ¿Será Twitter como hablar al vacío? ¿Una jaula de grillos? ¿Una maravillosa oportunidad de compartir información rápidamente? ¿Una adicción inútil? Lo que no quiero es dejar de probar algo tan extendido. Al lado del título de la entrada tiene el enlace para 'seguirme'. (Para aquellos como yo con poca vocación de profetas y cierta aversión a la autoridad, eso de alguien 'nos siga' ya causa algo de grima). Esto no supone que deje el blog, al menos no más de lo abandona que lo tengo últimamente.

viernes, enero 18, 2013

Cristóbol Colón era catalán y tímido, dice la grafología

La Vanguardia informaba el 16/01/2013 de la publicación del libro Cristóbal Colón. Su origen y vida investigados con técnicas policiales del siglo XXI, escrito por el perito calígrafo Jesús Delgado. En ese libro se establece que Cristóbal Colón era, en cuanto a región de origen, catalán, y, en cuanto a personalidad, "reservado, soñador y visionario". Para ello, el autor del libro analiza los escritos originales de Colón y de familias nobles de Barcelona. Lamentablemente, el autor combina, sin distinguir, dos posibles usos del análisis de la letra escrita. Por un lado están las pruebas de peritaje caligráfico para determinar si diferentes escritos pertenecen a la misma persona o si un cierto escrito fue redactado por quien se le atribuye. Dada mi formación como psicólogo y total desconocedor del campo, nada puedo objetar respecto a cómo se han usado estas técnicas, que son las que sustentan la idea de que Colón era catalán. De hecho, ni siquiera estoy seguro de que mi descripción sobre este tipo de peritaje sea la correcta.

Otro posible uso del análisis de la letra escrita es la valoración de la personalidad de quien redacta. Esto es lo que se conoce como grafología. Hoy por hoy, la grafología es considerada por la comunidad científica como un método sin valor para determinar la personalidad. Carece de fiabilidad y validez. Diferentes grafólogos evaluando un mismo texto apenas llegan a acuerdos sobre la personalidad que supuestamente se refleja en el texto. Las valoraciones grafológicas guardan entre nula y mínima relación con la conducta de las personas evaluadas o con modos de evaluar la personalidad que sí cuentan con validez científica. Por ello, lamentablemente, el análisis grafológico de los textos de Colón no tiene nada que aportar sobre cómo fue el navegante y descubridor, en la misma medida que no tiene nada que decirnos este tipo de análisis sobre nadie en ningún contexto. Claramente podemos hacernos una idea de si Colón era o no tímido gracias a sus textos, si el buen Cristóbal escribía frases del estilo de "me considero una persona retraída, no me gusta especialmente estar con gente", pero no escudriñando el modo como colocaba el palito de las tes o cómo de redondeabas eran sus oes.

Para sustentar la idea de que la grafología es básicamente igual a la nada pueden pasarse por aquí, aquí o aquí, que tienen en común ser artículos científicos.

miércoles, diciembre 12, 2012

Análisis de la estructura interna de un test - Análisis factorial

Dada la importancia de las diferentes técnicas para el análisis de la estructura interna de un cuestionario, vamos a examinar las características de tres modelos disponibles para este propósito. Por un lado, el análisis factorial exploratorio y el análisis factorial confirmatorio, y, por otro lado, una propuesta más reciente, los modelos exploratorios de ecuaciones estructurales (Asparouhov & Muthén, 2009).

Análisis Factorial Exploratorio (EFA, por sus siglas en inglés)
El EFA se considera habitualmente como una técnica guida por los datos (Fabrigar, Wegener, MacCallum, & Strahan, 1999), dado que su uso no requiere de una sólida teoría que asigne ítems a factores. El EFA es habitualmente usado con el propósito de obtener una estructura simple e interpretable. Por estructura simple se entiende que cada ítem sature principalmente en único factor; por interpretable, que la distribución de ítems a factores permita establecer claramente qué es lo que está midiendo cada factor. Nos ceñiremos ahora en describir dos de los limitaciones del EFA (Brown, 2006).

Primero, en un EFA la covarianza entre ítems ha de ser explicada únicamente a través de las cargas en los diferentes factores. Ítems que comparten algún elemento en su redactado sin relevancia teórica (p.ej., ítem redundantes y ítems inversos) pueden mostrar una mayor covariación de la que la puede ser explicada meramente por sus relaciones con el constructo medido. En estos casos, la interpretación de la estructura interna del cuestionario resulta compleja o directamente errónea.

Segundo, el EFA no permite la correcta evaluación de la invarianza de medida a través de diferentes grupos (Meredith, 1993). Un test administrado a dos grupos diferentes puede ofrecer puntuaciones con interpretación no comparable. Un resultado dado, tanto en puntuación latente como observada, puede tener una interpretación diferente dependiendo del grupo al que pertenezca el evaluado. La comparabilidad de puntuaciones entre grupos ha de ser apoyada por pruebas. Para poner a prueba la invarianza (p.ej., Dimitrov, 2010), lo que se evalúa es la igualdad (o mínima diferencia) entre las líneas de regresión que relacionan las puntuaciones factoriales (o variable predictora) con la puntuación en el ítem (variable criterio). En este contexto, la línea de regresión está especificada por la pendiente (carga factorial) y y valor en el criterio cuando el predictor es igual a 0 (el intercepto). Las técnicas de evaluación de invarianza desarrolladas en el marco del EFA permiten únicamente evaluar la similaridad entre cargas (Meredith, 1964), no entre interceptos. Por tanto, el EFA no permite descartar el funcionamiento diferencial de un instrumento entre grupos.

Otras limitaciones no corresponderían al EFA en su mismo como técnica, sino al mal uso de la misma. Así, por ejemplo, el emplear análisis de componentes principales (técnica de reducción de dimensiones), en lugar de técnicas factoriales, de tal modo que se sobreestiman las cargas factoriales; emplear rotaciones ortogonales cuando se espera y se encuentra correlación entre dimensiones, por lo que la estructura generada no es simple y no encaja con lo observado; o la incapacidad para informar en una parte importante de los artículos sobre los criterios para determinar el número de factores, obviando que el número de factores retenidos es una decisión del analista de datos que ha de justificarse. Una parte importante de estos problemas se explican por la tendencia a dar por buenos las opciones por defecto de los programas de análisis.

Confirmatory Factor Analysis (CFA, por sus sigles en inglés)
El CFA es considerado una técnica guiada por la teoría, puesto que el número de dimensiones y las relaciones ítems-factores a través de los cuales explicar la matriz de covarianzas han de estar apoyados por una teoría previa sólida o por previos EFAs en los que se ha encontrado una estructura simple. En un CFA las cargas factoriales se estiman habitualmente con la restricción de que cada ítem saturará únicamente en el factor esperado, y el resto de cargas de ese ítem se fijan a 0. Se pueden incluir unicidades correlacionadas en el modelo, de tal modo que las cargas no se distorsionan por factores espurios o por redundancias entre ítems. Para los CFAs, lo estándar es informar de índices de ajuste, índices que informan de la medida en la que el modelo puesto a prueba reproduce satisfactoriamente la matriz de covarianzas muestral (Brown, 2006). (Estos índices también están disponibles para los EFAs, aunque es extremadamente infrecuente informar de ellos en el caso de emplear esa técnica.)

El CFA permite evaluar la invarianza de medida. Poner a prueba la invarianza de la estructura interna de una escala supone una serie de pasos sucesivos (Vandenberg & Lance, 2000). El primer paso es poner a prueba que el modelo se ajusta para cada uno de los grupos por separado. De no cumplirse este paso, no tiene sentido proceder adelante. El segundo paso es evaluar la invarianza de forma: ¿es el número de factores y la distribución de ítems por factores la misma para los diferentes grupos? En el caso de que este modelo ajuste, el siguiente paso es evaluar si las cargas factoriales son las mismas entre los grupos. La invarianza de las cargas se acepta cuando la reducción en el ajuste es mínima. El siguiente paso es evaluar si los interceptos de los ítems pueden igualarse entre grupos. El mismo criterio, decremento mínimo en el ajuste en comparación con el modelo previo, se usa para evaluar esta invarianza. Si se satisfacen todas estas invarianzas, la escala funciona igual entre grupos y, por ello, las puntuaciones pueden ser comparadas entre grupos.

La limitación principal del CFA es su supuesto restrictivo: la estructura factorial es completamente simple (Asparouhov & Muthén, 2009). El método para establecer simpleza factorial con un EFA o con un CFA varía. En un EFA el criterio para considerar una estructura simple is habitualmente la ausencia de cargas destacables (p.ej., por encima de 0.30) en factores en los que los ítems no pertenecen teóricamente,  no son asignados. Sin embargo, cargas de pequeño tamaño pueden ser estadísticamente significativas, diferentes de 0. De hecho, la práctica común es no evaluar la significación estadística de las cargas (Cudeck & O’Dell, 1994; Jennrich, 2007). En un CFA, por otro lado, cualquier carga factorial diferente de 0 no modelada reduce el ajuste del modelo y puede sesgar los resultados. Esto supone que algunos instrumentos de evaluación teóricamente consolidados, apoyados por extensa investigación, no ofrecen un ajuste aceptable cuando se modelan con un CFA (Marsh et al., 2009).

De nuevo, la limitación descrita se ciñe a la técnica, no al empleo de la técnica. En su uso, destacaríamos como problemas la naturaleza en muchas ocasiones exploratoria de la técnica, poniendo a prueba multitud de modelos (por ello, algunos autores prefieren hablar de análisis con restricción de parámetros para el CFA y de análisis no restringido para el EFA); la capitalización del azar dados tamaños muestrales pequeños y uso intensivo de los índices de modificación para reespecificar el modelo, lo cual reduce las opciones de poder reproducir tal modelo en una muestra nueva; o el no analizar las áreas de desajuste y ceñirse únicamente a valores globales de ajuste, lo que puede enmascarar problemas del modelo.

Modelos Exploratorios de Ecuaciones Estructurales (ESEM - exploratory structural equation modeling, por sus siglas en inglés)
El ESEM (Asparouhov & Muthén, 2009) incorpora muchas de las ventajas del CFA pero está libre de sus limitaciones. El ESEM permite la estimación de las cargas factoriales para todos los ítems en todos los factores, luego el problema de fijar a 0 las cargas cruzadas desaparece. Cuando la matriz de cargas poblacional incluye cargas cruzadas, el ESEM recupera mejor esta matriz que el CFA y no está sujeta a distorsiones en la estimación de parámetros. Al igual que el CFA, con el ESEM se estiman tanto las cargas como los interceptos, luego la invarianza de medida puede ser puesta a prueba tal y como hemos descrito.

Podemos señalar varias limitaciones del ESEM. Primero, en términos de usabilidad, y hasta donde sabemos, el ESEM está implementado únicamente en el software Mplus. Segundo, en términos de recorrido histórico, mientras que las investigaciones sobre EFA y CFA (y con EFA y CFA como herramientas estadísticas) cuentan con décadas, el ESEM es una alternativa mucho más reciente, y esto tiene ciertas consecuencias. Por ejemplo, los puntos de corte para dar el ajuste por satisfactorio que habitualmente se emplean son los que se recomiendan para los CFAs, puesto que no se han llevado a cabo estudios específicos para el ESEM. Tercero, el ESEM también tiene sus propias limitaciones estadísticas. En el contexto del CFA el exceso de covarianza entre ítems inversos, por ejemplo, puede modelarse con unicidades correlacionadas o con un factor de método. En el ESEM esta segunda opción no está disponible, puesto que una vez que un ítem entra en un factor exploratorio no puede hacer también un uno confirmatorio. Por último, análisis factoriales de segundo orden, disponibles tanto en EFA como en CFA, no pueden realizarse con el ESEM.

Consideramos que estas limitaciones son menores y que, en cualquier caso, no reducen el enorme potencial del ESEM. Nuestros instrumentos de medida en muchas ocasiones presentan unicidades correlacionadas entre ítems y en muchas ocasiones hay cargas cruzadas. La realidad no es tan limpia como se espera al aplicar un CFA ni tan simple como se asume al aplicar un EFA.



Este post se sale de lo habitual en este blog. Forma parte, con algún añadido para el blog, del primer envío de un artículo que el editor recomendó abreviar y por ello cayó de la versión final. Al tenerlo ya escrito y considerar que podía ser útil para alguien, aquí lo dejo.

domingo, diciembre 09, 2012

Para muy despistados sobre la sociedad catalana

La escuela catalana es segregadora actualmente. Divide entre quienes pueden escolarizar a sus hijos en su lengua de elección, el catalán, y quienes no pueden hacerlo. Luego acabar con el modelo de inmersión obligatoria en catalán y dar paso a un modelo de libre elección entre lenguas oficiales no haría aparecer una segregación hasta ahora desconocida en las escuelas o sociedad catalanas. El cambio sería que el criterio de división no sería políticamente determinado, sino libremente escogido por los padres.

Pero, claro, el nacionalismo catalán teme a la libertad. Teme a la libertad porque, como cualquier nacionalismo, es esencialista, y la esencia de la esencia del catalán es su idioma. Esto lleva a la paranoia lingüística más absoluta. Sólo desde esta mentalidad pueden entenderse las declaraciones según las cuales Cataluña se vendrá abajo, poco más o menos, si se elimina el modelo educativo actual.


Un buen nacionalista no tiene compromiso con la verdad o con la estabilidad de sus argumentos, sino con las esencias. Uno de los lamentos nacionalistas básicos de hace treinta o cuarenta años era lo intolerable de que niños catalanoparlantes no recibieran la educación en su lengua materna.  Ahora se busca reducir el daño que los castellanoparlantes podemos ocasionar a Cataluña. Porque, claro, importa más Cataluña que los catalanes. O, quizá, los castellanoparlantes llevamos incorporada una ponderación a la baja que nos hace de menor valor.

La normalización lingüística nació, supuestamente, con el fin de que hablar en catalán en el ámbito público tuviera el mismo prestigio que hacerlo en castellano, que tuviera las mismas facilidades. La capacidad de substitución conceptual, siempre al alza, ha convertido la normalización en la voluntad de que el catalán sea la norma en Cataluña.

¿Qué opinión de su región tienen aquellos que se supone que tanto aman a Cataluña si creen que ésta entrará en colapso por un poco más de libertad?

miércoles, noviembre 14, 2012

martes, octubre 30, 2012

Masa escolar

En el descanso entre clases,
y agotado el maestro, vino hacia él un alumno
y le dijo: «¡No te desanimes, me interesa tanto!»
Pero el profesor ¡ay! siguió sufriendo.

Se le acercaron dos y repitiéronle:
«¡No nos dejes! ¡Valor! ¡Vuelve, que escuchamos!»
Pero el profesor ¡ay! siguió sufriendo.

Acudieron a él veinte, cien, mil, el instituto entero,
clamando «¡Tanto amor y no poder contra el desespero!»
Pero el profesor ¡ay! siguió sufriendo.

Le rodearon millones de pupilos,
con un ruego común: «¡Quédate, maestro!»
Pero el profesor ¡ay! siguió sufriendo.

Entonces todos los alumnos de la tierra
le rodearon; les vio el maestro triste, emocionado;
incorporóse lentamente,
abrazó al primero; subióse a la tarima...



Sobre Masa, de César Vallejo.

miércoles, octubre 17, 2012

El (des)gobierno universitario

Es difícil diseñar un sistema de gobierno tan ineficaz y burocrático como el actualmente existente en las universidades españolas. El Título III de la Ley Orgánica 6/2001, de 21 de diciembre, regula el funcionamiento de los principales órganos de gobierno colegiados e individuales de la universidad. Destacan, por su peso e importancia, el Consejo Social y el Consejo de Gobierno. El Consejo Social se creó con intención de abrir la universidad a la sociedad dotándole de un conjunto de competencias bastante arbitrarias y difusas. Se supone que entre sus funciones se encuentra todo lo referente
al área económica (aprobación de los presupuestos, supervisión de las actividades económicas y desarrollo de nuevos canales privados de financiación) y la rendición de cuentas a la sociedad (el texto legal utiliza una expresión poco precisa: “supervisión del rendimiento de sus servicios”). La ley especifica que corresponde a las comunidades autónomas regular la composición, funciones y designación de los miembros, y que serán miembros de pleno derecho el rector, secretario general, gerente, un profesor, un estudiante y un representante del personal de administración y servicios, elegidos por el Consejo de Gobierno de entre sus miembros. El despropósito legislativo, sin embargo, no termina con la creación de un órgano con funciones difusas, competencias poco claras y un sistema de designación basado en la coloración política, sino que se amplifica con la creación de otro órgano de gobierno, el llamado Consejo de Gobierno, con competencias tan importantes como la aprobación e implementación de la estrategia y compuesto por una representación desproporcionada de los principales estamentos (profesores, alumnos y personal de servicios) de la universidad. Se halla así, un sistema de gobierno con dos órganos diferentes en los que no se distingue la gestión del gobierno, sin claridad en la cadena de mando, que conviven con competencias solapadas y poco definidas, con un sistema de designación de miembros basado en la representación de intereses corporativos y no en la competencia profesional, un tamaño desproporcionado y, por último, un control desorbitado del poder político (comunidades autónomas). No hay mucho que hacer con la ley actual. La única opción es cambiarla e intentar desarrollar un marco normativo que facilite el funcionamiento de un órgano de gobierno eficaz en el que la iniciativa y la cadena de mando estén bien definidas, la distinción entre el gobierno y la gestión sean claras, la selección de sus miembros responda a criterios profesionales y no políticos y en el que sus competencias se extiendan a todas las áreas relacionadas con la financiación, la estrategia y los resultados. No hay que inventar nada nuevo, las mejores universidades anglosajonas lo llevan poniendo en práctica desde hace más de un siglo.
Del informe Examen de transparencia. Informe de transparencia en la web de las Universidades Públicas Españolas de la Fundación Compromiso y Transparencia.

(Otro tema es qué pinta este párrafo con el contenido general del informe, porque no cuadra con los objetivos del texto ni con la estructura general. Eso no le resta valor.)

domingo, julio 01, 2012

JCR 2011. Todo se pega. Ahora le toca manipular a la Revista de Psicodidáctica


Ya tenemos el Journal Citation Reports para el año 2011. Gracias a éste podemos saber qué revistas mandan, cuáles cortan el bacalao, dónde hay que publicar para ser leído, citado, tenido en cuenta. Ahora ya sé que mi objetivo no es Science (factor de impacto de 31.2). Por pedir, voy un escalón más arriba, lo intentaré con Energy Education Science and Technology (factor de impacto de 31.7), revista turca de la que casi nadie había escuchado hablar hasta ahora.

¿Que el inglés es el idioma de la ciencia? ¡Ja! Cuando uno tiene grandes verdades que contar, da igual la lengua de expresión. Dos revistas españolas con alta proporción de artículos en castellano se sitúan en el primer cuartil de sus categorías: la crema de la crema. (No me sean horteras y traduzcan; no abandonen el idioma de Cervantes).

Empecemos por el International Journal of Clinical and Health Psychology, que consigue un factor de impacto de 2.8. Ahí es nada.

Detalles curiosos:
- Los seis artículos del bienio 2009-2010 con más de 10 citas (consulta mientras redacto la entrada) han sido escritos todos en castellano. La capacidad de recibir atención parece tener una relación inversa con el número de potenciales lectores.
- Los dos artículos más citados de este bienio tienen como coautor a Buela-Casal, director asociado de la revista. Qué bueno ser juez y parte.
- El primer artículo más citado no supone contribución substantiva a la psicología. En este ombliguismo que va invadiendo cada vez en mayor medida las revistas españolas tiene como objeto el análisis de la producción científica, la bibliometría. Dentro de poco ya sólo hablaremos para contar de qué hablan otros.
- El segundo artículo más citado es del estilo de "te doy instrucciones sobre cómo hacer algo que tú ya sabías hacer y te fuerzo a que lo cites si quieres publicar aquí".
- Descartadas las autocitas, el factor de impacto baja de 2.8 a 1.2.
- Durante el 2011 la revista más citada desde esta revista fueron los publicados por... esta misma revista. Y, ¡oh, sorpresa!, no fueron los artículos de cualquier año, sino básicamente los artículos publicados en los años que computan para el cálculo del factor de impacto. Cuando uno escribe un artículo para este revista sus referentes básicos no salen de Behaviour Research and Therapy, Journal of Abnormal Psychology o Depression and Anxiety, por citar tres revistas de gran prestigio.

Nada nuevo bajo el sol, me temo, en el caso del International Journal of Clinical and Health Psychology.

La segunda revista española en triunfar en su categoría es la Revista de Psicodidáctica. Dejo unos pocos datos sobre lo sorprendente del hecho: una revista española (por ubicación de la editorial y por origen casi en exclusiva de los autores) en el primer cuartil, que multiplica por más de tres su factor de impacto en un año, que considera que sus propios artículos son los más relevantes para hablar de su campo, que pierde casi la mitad del factor de impacto sin las autocitas... No hace falta rascar demasiado para ver que huele a podrido.




¿Por qué no baja todavía más el factor de impacto descontando las autocitas? También tiene trampa, pero eso ya lo dejo para quien se quiera tomar la molestia de encontrar al (eterno) implicado y responsable.

Lo que me maravilla es que haya gente suficientemente ingenua como para pensar que no hay trampa detrás de estos factores de impacto tan elevados. ¿Se puede hacer una revista de referencia internacional desde España? ¡Claro que sí! Pero sólo si se aspira a ser de referencia internacional, no de referencia en indicadores internacionales.

Para acabar, las revistas que el año pasado artificialmente estaban en el segundo cuartil han caído bien abajo de su categoría, como podía esperarse.

La pista sobre la Revista de Psicodidáctica la encontré a través de Álvaro Cabezas.

martes, mayo 15, 2012

Manipulando el factor de impacto: Siempre volvemos a Gualberto Buela-Casal

El factor de impacto pretende evaluar el impacto de las distintas revistas científicas. No quiere ser un indicador de calidad ni un indicador de relevancia de cada artículo. Mide impacto para revistas. Cualquier interpretación más allá es forzar la máquina. Su cálculo es número de citas recibidas por la revista A en el año Y para artículos publicados durante los años Y-1 e Y-2 / número de artículos publicados durante los años Y-1 e Y-2. No me extenderé en los matices de la fórmula. Entiendo que si usted, lector, está leyendo esta entrada es porque se dedica a la investigación y está bien al corriente de cómo se computa este indicador.

¿Qué consecuencias tiene el factor de impacto? En algunos países, relativamente pocas. Como revisor he visto artículos enviados por popes del área en primer lugar a revistas del tercer cuartil que, tras ser rechazados, pasaban a enviarlos (y publicarlos) en revistas del primer cuartil. La revista del primer cuartil era el plan B porque, para el tema en concreto del artículo, la revista de referencia tiene un factor de impacto mucho menor. En algunos lugares uno intenta publicar en las revistas que leen aquellos con los que uno aspira a comunicarse.

En España sí que es relevante el factor de impacto. Hasta hace relativamente poco, lo importante como investigador era publicar en cualquier revista incluida por que la empresa que mide el factor de impacto. Lo importante (al menos según las reglas del juego de tribunales y agencias de evaluación) era maximizar el número de artículos. ¿Que publicar en Science te suponía tres veces más esfuerzo que publicar en Revista de Ciencias del Barrio? Pues a por Revista de Ciencias.

Progresivamente las reglas del juego van cambiando. Ahora los artículos en la Revista de Ciencias o cuentan poco o casi llegan a penalizar. Ser científico es entrar en una conversación mundial y uno ha de intentar hablar donde están los interlocutores naturales, aquellos a los que sigues y aquellos que querrías que te siguieran a ti. Obtener plazas, acreditaciones, sexenios... cada vez está más vinculado al factor de impacto de las revistas donde publica uno (confundiendo un indicador de revistas con un indicador de artículos; sería como creer que cualquier sueco es más alto que cualquier español porque los suecos en promedio de hace diez años eran más altos que los españoles de hace diez años).

El factor de impacto es una medida que carece de fiabilidad y validez. Esto daría (y espero que dé en el futuro) para más entradas del blog. Es un indicador métricamente muy cuestionable. Y lo es sin necesidad de que nadie lo piratee. Pero más cuando hay gente que, intencionalmente, pone de su parte para introducir ruido, para que revistas irrelevantes vean su factor de impacto disparado. De este modo, investigadores que publican en revistas mediocres pueden aparentar tener mejores currícula de lo que les correspondería. E investigadores que merecerían un puesto de trabajo pueden perderlo, por la distorsión introducida por algunos grupos de investigación que piratean desde la inmoralidad y la irresponsabilidad un indicador social y profesionalmente relevante.

Muchas, muchas revistas intentan forzar al alza su factor de impacto. La revista española Psicothema, durante años, se ha negado a publicar artículos que no citaran a otros artículos de Psicothema. Hace poco recibía una revisión de Psicológica donde se nos indicaba claramente cuál era el artículo que habíamos de citar. El problema no se limita a revistas españolas.

Pero hay un investigador que se lleva la palma en la manipulación del factor de impacto: Gualberto Buela-Casal. Veamos su historial como manipulador. (Repito: Detrás de la distorsión del factor de impacto hay daño producido a investigadores. El factor de impacto no es un juego, sino una medida que se emplea para tomar decisiones relevantes en la vida de un investigador).

Manipulando el factor de impacto de Psicothema, Revista Latinoamericana de Psicología, Revista Mexicana de Psicología y Revista Interamericana de Psicología

Aquí, la evolución del factor de impacto de Psicothema entre 1998 y 2002. (La magia del factor de impacto supone que un artículo en la misma revista en el 2002 'luce más' que ese mismo artículo en esa misma revista en el 2001). Como se pude ver, el factor de impacto se dispara en el 2002. Ciertamente el factor de impacto no es muy estable en el tiempo, pero un cambio tan abrupto ha de llevarnos a sospechar.

Un único artículo era el responsable de esta anomalía. En el 2002 Buela-Casal y colaboradores publican el artículo Estudio Comparativo de las Revistas de Psicología en Castellano con Factor de Impacto. Es un artículo con 364 citas. Un disparate. Lo que hacen es citar todos los artículos publicados en los últimos años en las revistas objeto de estudio. De este modo, cualquier artículo de esas revistas del 2000 ó 2001 ha recibido, al menos, una cita. Son artículos citados sólo por existir. Por ello, el factor de impacto que realmente correspondería a Psicothema habría de ser un punto menor.

Manipulando el factor de impacto del International Journal of Clinical and Health Psychology

De este tema me he ocupado previamente en el blog. ¿La técnica? Cada cierto tiempo se publican en esta revista artículos de obligada citación. La ventana temporal que cubre el cálculo del factor de impacto es de dos años. Por ello, estos artículos de obligada citación han de irse renovando. Artículos de cómo escribir un artículo, artículos de cómo categorizar el método de investigación de un artículo, artículos de cómo hacer una revisión... No hay que ser especialmente creativos para renovar la base de artículos de obligada citación: comparen este artículo del 2005 con este artículo del 2007. Se admite el auto-plagio. En la página de presentación de la revista aparece el listado de artículos que conviene incluir. O que pueden llegar a ser incluidos directamente por el equipo editorial. En el caso de no acomodarse, las revisiones marcan claramente que se espera la cita pertinente.

Actualmente, este revista está en el segundo cuartil de su categoría. Ha llegado a estar en el primer cuartil. Poca gente de prestigio internacional publica ahí para lo que se esperaría dado su factor de impacto.

Buela-Casal es uno de los directores asociados de la revista. (Creo que fue su primer director, pero esto no lo puedo asegurar. Y que fue director cuando se empezaron a publicar los artículos de obligada citación.) El actual director es Juan Carlos Sierra, persona de estrecha confianza.

Manipulando el factor de impacto de Estudios de Psicología, Anales de Psicología...

Hay multitud de revistas de psicología en España. Durante años ha sido habitual que cada facultad tuviera la suya. Yo, como investigador productivo español, desconozco el nombre de gran parte de ellas. Por ejemplo, hasta hace poco no sabía que en la UAM se editaba Estudios de Psicología o en Murcia Anales de Psicología. Lo descubrí cuando aparecieron en el segundo cuartil de la categoría Psicología-Multidisciplinar con un factor de impacto superior al de revistas con mucha mayor tradición.

Aquí, de nuevo, casi todo el factor de impacto puede atribuirse a un único artículo, de Quevedo-Blasco y López-López, con título Análisis Bibliométrico de las Revistas Multidisciplinares de Psicología Recientemente Incorporadas en la Web of Science (2008-2009). En este artículo se citan 471 artículos de las revistas españolas y latinoamericanas incluidas para evaluar su factor de impacto. De nuevo, se citan a artículos por el hecho de existir. De este modo, la revista Anales pasa de un factor de impacto en el 2009 de 0.244 a un factor de impacto de 1.338 en el 2010. Un solo artículo de una sola revista cita a los 80 artículos de Anales en el lapso de tiempo que cuenta para el cómputo del último factor de impacto, y no porque aporten algo especial sino porque sí. Descontando este artículo, el factor de impacto de Anales (o de Estudios de Psicología, o de Universitas Psychologica, o de Revista Latinoamericana de Psicopatología Fundamental...) baja un punto entero, dejándolas en la cuasi-irrelevancia esperable por su capacidad para atraer artículos de investigadores de alto nivel.

Este artículo recuerda mucho al escrito por Buela-Casal sobre los artículos de Psicothema que comentaba anteriormente. En este caso no es Buela-Casal el autor. Él, discretamente, sale del foco. Lo firman colaboradores estrechos suyos como demuestra la gran cantidad de publicaciones conjuntas o la labor como asistentes editoriales en el International Journal of Clinical and Health Psychology. Es muy poco creíble que Quevedo-Blasco y López-López escribieran este artículo sin conocimiento y supervisión de Buela-Casal.

Por tanto, son múltiples las ocasiones en las que Buela-Casal y su equipo han trabajado para distorsionar el factor de impacto. Los problemas de la manipulación del factor de impacto no se limitan a las posibles decisiones tomadas sobre currícula de investigadores. Tiene más efectos nocivos:
- Los investigadores empiezan a enviar sus artículos a las revistas equivocadas. Si únicamente nos fijamos en el factor de impacto, a mí me sale más a cuenta publicar en una revista española (donde no me lee nadie con el que me quiera realmente comunicar) que en la revista de referencia de mi área de conocimiento (donde publican la gente cuyo trabajo admiro y que, algunos, valoran mi trabajo).
- Los investigadores empiezan a valorar mal su propia trayectoria. Yo he escuchado a Titulares vanagloriarse por haber publicado en una revista del segundo cuartil... que nadie lee y cuyo factor de impacto tendría que estar más cerca de 0 que de cualquier otro entero.
- Las revistas empiezan a tomar decisiones equivocadas. Una revista de pobre calidad empieza a subir los estándares de exigencia. Recibe muchos manuscritos. Al cabo de nada de tiempo, salvo otra manipulación, vuelve a situación casi de partida. Habrá que ver cómo se reajusta el sistema, pero liarse a pedradas en un charco no es algo trivial.

Lo que ya remata el absurdo de la situación es que Buela-Casal pasa por ser uno de los investigadores de referencia españoles en la evaluación de la calidad investigadora. Otros investigadores españoles han intentado pararle los pies a Buela-Casal en otros ámbitos (intentaba aparecer como el investigador más productivo español en el área de Personalidad, Evaluación y Tratamiento, de nuevo con colaboradores firmando como únicos autores los artículos que él no puede firmar, por un punto de dignidad). Espero que este post ayude a situar a Buela-Casal en su sitio y a cada revista en su lugar. Bastante malo es el factor de impacto como indicador, bastante mal uso se le da, como para corromperlo todavía más.

viernes, mayo 11, 2012

Ah, la ratio

Si quisieran llenar de agua un pote agujereado, ¿cuál creen que sería la mejor estrategia?
(a) Acelerar el ritmo de vertido de agua.
(b) Tapar el agujero y seguir echando agua.

Anda ahora la gente revuelta con los recortes en gasto público del Partido Popular. Muchos asumen que menor inversión supone peor calidad de servicio. Tengo mis serias dudas al respecto. Entre los que profetizan penas mil está José Saturnino Martínez a través de la edición web de El País. A esta nota llegué gracias a José Manuel Lacasa. Con unos análisis que llevarían a mis alumnos de 2º de Grado directamente al suspenso, apunta a que mayor ratio alumnos/profesor se relaciona con mayor fracaso escolar.


Empiezo a pensar que la investigación educativa tiene mucho de test proyectivo, donde uno busca los datos que quiere, bien dirigido por la propia ideología, y a correr. Veamos otros datos que, creo, hacen poco defendible la posición del Dr. Martínez. Recordemos el punto de partida: más ratio supone más fracaso.

Aquí, la evalución de la ratio en los últimos años.
Claramente, la ratio va bajando. La ratio para centros privados es mayor.

Siguiente gráfico. Evolución de la tasa de graduación en los últimos años. ¿Qué tendríamos que encontrar para que cuadraran los datos con la hipótesis del Dr. Martínez?

Pues no, no encontramos lo que cabía esperar.

Siguientes gráficos. Rendimiento promedio en pruebas estandarizadas según titularidad del centro. Sabemos que el estatus socioeconómico influye en el rendimiento y que este estatus es mayor en los privados. Por suerte, ahí está la estadística para aplicar los controles oportunos. Recordando que la ratio es mayor en los privados, y que esperamos que menores ratios conlleven mejor rendimiento, ¿qué tendríamos que encontrar en la comparación público/privado?
Pues no, no lo encontramos.

(Por cierto, los privados son mucho más baratos en coste por alumno para el Estado. Saquen sus conclusiones los grandes defensores de "lo público").

Yo no sé bien cuál es la relación entre ratio y rendimiento. Lo que sé es que el Dr. Martínez se ha buscado unos datillos por ahí y que no hace falta ser el más informado del lugar para darse cuenta de que algo no cuadra. La pregunta es: ¿queremos hacer investigación educativa o defender nuestras propuestas políticas particulares? El modo de dar respuesta sólida exige investigación longitudinal sólida, con multitud de controles estadísticos y de diseño. Pero, puestos a dar respuestas parciales, los datos que ofrezco considero que ponen la idea del drama detrás de un posible aumento de la ratio en entredicho. Al menos, si ese sector sigue argumentando al estilo Saturnino.

Información relevante adicional en Wonkapistas.

Todos los gráficos que muestro salen del Sistema estatal de indicadores de calidad. Edición 2011.

(Tenía esto del blog taaaan olvidado. Gracías, José Manuel, por darte un buen motivo para escribir).

lunes, marzo 26, 2012

Aulas Felices


¿Hemos perdido por completo el rumbo y el sentido de la educación o estamos redefiniendo y ampliando objetivos? Información sobre el programa Aulas Felices aquí.

viernes, enero 27, 2012

Y yo me pregunto...

¿Cómo alguien así puede llegar a la universidad? De un trabajo de un alumno, donde describe el transcurso de una clase:
Ha entrado el profesor en clase, y una alumna la dicho que le explicado como estaba organizado todo y la dicho el profesor que eso ya lo había explicado en una sesión que no tenia porque haber dado clase y la dado en horas que el profesor no tenia porque haber dado y se ha cabreado la alumna y luego ya nos ha comentado el profesor lo de la fecha de examen y haber si decidíamos cuando por que le han dicho en enero.
Notas:
a) No, no es la norma entre el alumnado esta forma de escribir.
b) Sí, la capacidad para expresar ideas es un problema para muchos alumnos.

miércoles, junio 29, 2011

Factor de impacto 2010 ya disponible


¿Sirve el factor de impacto para lo que se usa en España? No. ¿Se pide cada vez más? Sí. Pues a bailar con la música que nos ponen.