pisando el modelo rasch: todos los modelos estadísticos fallan, “algunos modelos son peores que otros y no hay ninguna razón para usar el peor de todos”.

¿El informe PISA es objetivo? Los académicos se rebelan...

Hoy la OCDE presenta la quinta oleada de resultados del informe PISA 2015. ¿Podemos fiarnos de sus resultados? Muchos académicos creen que no

La Organización para la Cooperación y el Desarrollo Económico (OCDE) ha presentado laquinta oleada de resultados del informe PISA , relativos al área transversal de 'resolución de problemas'. De nuevo, el informe protagoniza las portadas de los periódicos, los informativos y las tertulias, no en vano, algunos  creen que se trata de la mejor herramienta con la que contamos para conocer el éxito o fracaso de nuestros sistemas educativos. Pero, ¿podemos fiarnos de ella?

Numerosos académicos han criticado a PISA por tratarse de una prueba que sólo valora la calidad de los sistemas educativos en función de valores cuantitativos sin contexto histórico y socio económico , en su opinión, no sirve para valorar la calidad real de la educación de un país, en particular se critica a la evaluación porque asume como único un diseño educativo sujeto a criterios "universales" esto es según criterios educativos dominantes en la era de la fase tardía de globalización capitalista , hoy en crisis .

Pero, al margen de esta crítica (la más conocida), hay quien piensa que PISA tiene graves fallos no sólo en su planteamiento, sino también en su diseño y su aplicación.

¿Utiliza PISA un modelo estadístico que no funciona?

La principal fortaleza de PISA reside en que está diseñado como un sistema “objetivo” de comparación entre países, pero muchos académicos dudan de esta supuesta imparcialidad. Aunque existen unos parámetros comunes, la OCDE diseña pruebas distintas para cada país en función de sus especificidades culturales y mediante un modelo estadístico procesa estos resultados para obtener una representación de lo que los alumnos han contestado.

No hay un sólo ítem de PISA que sea igual en los 56 países participantes. Por lo tanto, no se puede utilizar este modeloLos técnicos de la OCDE utilizan un sistema basado en el modelo de Rasch, llamado así por su creador, el matemático danés George Rasch. El modelo (muy complejo) sirve, en resumidas cuentas, para estandarizar las respuestas a un cuestionario dado: los autores de PISA buscan así elaborar una versión plausible de las puntuaciones que los estudiantes de cada país habrían sacado si hubieran respondido a las mismas preguntas.

Hay quien piensa que el modelo de Rasch no funciona para PISA ni para ninguna otra cosa, pues parte de un error matemático de base. Pero esto no es lo más preocupante: según uno de los discípulos del propio Rasch, el profesor Svend Kreiner, de la Universidad de Copenhague, el modelo se está empleando de forma incorrecta.

Según explicó Kreiner en la revista británica Times Education Supplement, para que el modelo de Rasch funcionara correctamente, las preguntas de PISA deberían funcionar de la misma manera en todos los países participantes: deberían ser, en definitiva, igual de difíciles. Y no es así. Esto se conoce en estadística como un “funcionamiento diferencial de los ítems” (DIF, por sus siglas en inglés) y es un error con el que el modelo de Rasch no puede lidiar.

Si bien es cierto que todos los modelos estadísticos fallan, algunos modelos son peores que otros y no hay ninguna razón para usar el peor de todos“Esto significa que las comparaciones entre países no tienen sentido”, asegura Kreiner. “De hecho, no he sido capaz de encontrar dos ítems en los test de PISA que funcionen exactamente de la misma manera en países diferentes. No hay un sólo ítem que sea igual en los 56 países participantes. Por lo tanto, no se puede utilizar este modelo”.

Según la OCDE –cuyos técnicos han mantenido una enconada discusión académica con Kreiner– no todos los expertos creen que el modelo de Rasch no pueda utilizarse con presencia de DIF. Pero, en opinión de Kreiner, si bien es cierto que todos los modelos estadísticos fallan, “algunos modelos son peores que otros y no hay ninguna razón para usar el peor de todos”.

10 críticas a las pruebas PISA de Gustavo Sposob Viñas

PISA y la “pura especulación”

La educación es, hoy más que nunca, uno de los principales indicadores del progreso de un país, y PISA se ha convertido en el ranking al que miran todos los políticos: si su país ha mejorado, el gobierno de turno se pavonea (aunque los éxitos pertenezcan en realidad a la anterior administración), si ha empeorado, o por algún motivo los resultados son críticos, se utiliza como contragolpe político y se echa la culpa al gobierno anterior. Pero ¿sirve PISA para mejorar las políticas educativas en el futuro?

Los productos asociados a PISA, como los análisis sobre cómo deben ser las buenas escuelas, van mucho más allá de lo que permite una aproximación cauta a estos datosLa OCDE siempre ha argumentado que PISA ofrece un análisis mucho más completo de los sistemas educativos y no se limita sólo a ofrecer rankings –cuya “incertidumbre” ha reconocido públicamente– sino también a ofrecer ideas para mejorar la educación. Pero lo cierto es que los listados acaparan toda la atención mediática: nadie se preocupa del resto del informe.¿Deberíamos?

En 2007, un grupo de 20 investigadores analizó de forma pormenorizada la metodología de PISA y publicó sus conclusiones en el libro PISA according to PISA(Transaction Publishers). Además de asegurar que los rankings que comparan los resultados entre países “están basados en tantos puntos débiles que deben ser abandonados de inmediato”, apuntaron que los productos asociados a PISA, como los análisis sobre cómo deben ser las buenas escuelas o las diferencias entre los distintos sistemas educativos, “van mucho más allá de lo que permite una aproximación cauta a estos datos. Son en su mayoría pura especulación”.

Todo esto no quiere decir que PISA no sirva para nada (aunque muchos académicos lo creen así), pero lo que es seguro es que sus conclusiones no deben ser tomadas como la única forma de conocer nuestros sistemas educativos. El informe, para más inri, sólo evalua los conocimientos y competencias de los alumnos de 15 años en matemáticas, ciencia y compresión lectora: ni realiza un seguimiento longitudinal de la evolución de los estudiantes ni se para analizar qué saben de otras materias o habilidades que van de la historia o la filosofía a la creatividad o el entusiasmo. PISA puede ser útil, pero en ningún caso debería tener la última palabra. Al menos según muchos y reconocidos matemáticos y pedagogos.

Relacionado

SOCIEDAD › LA ARGENTINA SEGUIRA PARTICIPANDO DE LA EVALUACION EDUCATIVA, PERO RECLAMA APLICAR “CRITERIOS REGIONALES”

Un apoyo crítico a las pruebas PISA