Boicots, escuelas fantasma y errores inform¨¢ticos: las ¡°anomal¨ªas¡± que encontr¨® PISA en otros pa¨ªses

Hace 15 d¨ªas la Organizaci¨®n para la Cooperaci¨®n y el Desarrollo Econ¨®mico (OCDE) anunci¨® que, ante un ¡°comportamiento inveros¨ªmil¡±, no iba a publicar este pr¨®ximo martes los datos de lectura en Espa?a en las pruebas de calidad educativa PISA. A las dos horas, visiblemente molesta, la ministra de Educaci¨®n en funciones Isabel Cela¨¢ se defendi¨® diciendo que el test se respondi¨® con el Gobierno anterior y que las anomal¨ªas no eran algo exclusivo de Espa?a. ¡°Ya le ha ocurrido a la OCDE en Estados Unidos, en Holanda... Y esto es lo que tenemos¡±, se?al¨®. La lista de Cela¨¢ se quedaba muy corta, porque en un escrito la instituci¨®n reconoce haber detectado ¡°anomal¨ªas¡± en las pruebas de nueve pa¨ªses en las seis ediciones anteriores de la evaluaci¨®n (2000-2015). En unos casos por problemas t¨¦cnicos y en otros porque los datos reunidos no cumpl¨ªan el exigente patr¨®n de PISA.?Un listado que el organismo no oculta y que, sin embargo, es desconocido. Aunque la OCDE no dice a los pa¨ªses c¨®mo debe actuar tras la foto mostrada en PISA, es evidente que condiciona las pol¨ªticas nacionales.

En 2000, el a?o del estreno de PISA, Holanda fue excluida de la encuesta porque la tasa de respuesta de los colegios fue ¡°insuficiente para garantizar su inclusi¨®n en la base de datos¡±. Y ese a?o la muestra de Austria no represent¨® adecuadamente a los alumnos de Formaci¨®n Profesional, que alcanzan el 70% del alumnado. El fallo se corrigi¨® en 2003 haciendo ajustes para poder hacer una comparaci¨®n real de la progresi¨®n del pa¨ªs.

En el?Reino Unido los colegios no se implicaron en las pruebas. En la primera edici¨®n se detect¨® que hab¨ªa una tasa baja de respuestas (un 3,7% por debajo del patr¨®n), pero se certific¨® porque era una cifra despreciable. Pero en 2003 la OCDE no dio por buena la muestra y los resultados quedaron fuera de las comparaciones. En la siguiente ocasi¨®n, asegura el organismo internacional, los brit¨¢nicos fueron ¡°m¨¢s rigurosos¡± en el procedimiento.

M¨¢s informaci¨®n

Argentina queda fuera del ranking educativo PISA 2015

Las claves del examen

?Sirve PISA para gobernar?

En Luxemburgo decidieron cambiar las caracter¨ªsticas del examen para que reflejase su verdadero sistema escolar. En 2000, una semana antes de la prueba, se entreg¨® a los estudiantes un folleto explicativo de la mec¨¢nica del test en la lengua elegida para la prueba (franc¨¦s o alem¨¢n) y la OCDE comprob¨® que la familiaridad del idioma fue ¡°una barrera para una gran proporci¨®n de estudiantes¡±. As¨ª que, desde entonces, se entregan gu¨ªas en ambas lenguas y en los an¨¢lisis no se tiene en cuenta las cifras de la primera edici¨®n.

Estados Unidos fue el protagonista de PISA 2006 por un fallo en la impresi¨®n del examen. Un?cambio de paginaci¨®n redirigi¨® a los alumnos a una lectura de preguntas incorrectas y se estim¨® ¡ªcomparando resultados con 2003¡ª que el fallo pudo penalizar a los alumnos en seis puntos. Los resultados de comprensi¨®n lectora no se hicieron p¨²blicos, pero s¨ª los de matem¨¢ticas y ciencias en los que la incidencia del error supuso un punto.

Los problemas en Austria no terminaron en 2000. Nueve a?os m¨¢s tarde una disputa entre los sindicatos de educaci¨®n y el ministro del ramo se sald¨® con una llamada a boicot el examen. Eso, sostiene la OCDE en su listado de irregularidades, cre¨® ¡°una atm¨®sfera negativa que pudo afectar a la motivaci¨®n de los estudiantes a la hora de responder a las preguntas¡±. Los resultados ahora no se usan para hacer cotejos. Un an¨¢lisis posterior de la plataforma educativa holandesa CITO concluy¨® que solo un 2,2% de los alumnos sabotearon el test neg¨¢ndose a contestar, un porcentaje ¡°despreciable¡± que no invalidaba los resultados.

En Espa?a ¡°al menos¡± ¡ªcalcula la OCDE¡ª hay contestaciones dudosas en el 5% de los test de lectura (1.800 escolares), pero se descarta que haya una intenci¨®n maliciosa. ¡°No creemos que sea un fraude o boicot contra PISA o los tests en s¨ª, m¨¢s bien creemos que pueda ser alg¨²n error t¨¦cnico desafortunado¡±, afirm¨® a EL PA?S el d¨ªa del esc¨¢ndalo la japonesa Miyako Ikeda, responsable del an¨¢lisis de datos de PISA. Aunque horas antes, en una dura nota de prensa, la instituci¨®n hab¨ªa negado cualquier error en su tecnolog¨ªa.

En PISA 2012 un ¡°n¨²mero desproporcionado¡± de ni?os de Albania coincidi¨® en afirmar que sus padres trabajaban los mismos oficios (no se detalla cuales), algo inusual. Durante la limpieza de datos no se pudo arreglar el error y en los ¨ªndices internacionales se omiti¨® esa informaci¨®n de este pa¨ªs. No se trataba de un dato trivial, porque el contexto sociocultural en el que se cr¨ªa el ni?o determina en gran medida su ¨¦xito acad¨¦mico.

Los datos de Argentina, en PISA 2015, fueron desechados en todo el pa¨ªs salvo en Buenos Aires. ¡°La muestra no cubr¨ªa la poblaci¨®n objetivo, debido a la potencial omisi¨®n de escuelas del marco muestral¡±, argument¨® la OCDE, y eso imped¨ªa comparar con los n¨²meros anteriores. Lo que ocurri¨® es que el Gobierno de Cristina Fern¨¢ndez de Kirchner, en el poder cuando se celebr¨® la prueba, quit¨® ciertas escuelas y sum¨® otras en relaci¨®n con el listado presentado en 2012. El ministro de entonces, Alberto Sileoni, explic¨® que administrativamente se fusionaron escuelas primarias y secundarias en un nuevo sistema, pero su argumento no convenci¨® a los promotores de la prueba. Abochornado, el ministro de Educaci¨®n designado por Mauricio Macri, Esteban Bullrich, se disculp¨® en una rueda de prensa cuando se anunci¨® la penalizaci¨®n: ¡°Esto se parece a ese pa¨ªs que no ten¨ªa compromiso con las estad¨ªsticas y la verdad, y ese es el pa¨ªs que vinimos a cambiar¡±.

En 2015, ¨²ltima edici¨®n de PISA, no solo Argentina dio quebraderos de cabeza. Malasia seleccion¨® a unos colegios que representaban al 51% de sus escuelas del pa¨ªs cuando la OCDE obliga a que al menos sea una muestra caracter¨ªstica del 85% de los centros. As¨ª que los resultados del test no pueden cotejarse con los anteriores. Y se apartaron los datos de Kazajist¨¢n porque los t¨¦cnicos fueron ¡°indulgentes¡± en el tratamiento de los c¨®digos de informaci¨®n.

El martes la OCDE presentar¨¢ en rueda de prensa los resultados de PISA 2018 omitiendo los de lectura en Espa?a. Justamente la competencia analizada con m¨¢s detalle en esta edici¨®n. "Es probable que tardemos varios meses en obtener una respuesta a las anomal¨ªas en Espa?a", ha adelantado el alem¨¢n?Andreas Schleicher, jefe del informe PISA.?