Las tripas del informe

El informe PISA de la OCDE es, sin duda, despu¨¦s de 13 a?os y cinco ediciones, la m¨¢s famosa evaluaci¨®n internacional sobre los resultados escolares de todo el mundo. Casi nadie discute la importancia de una monumental base de datos educativa que contiene todo tipo de informaci¨®n (no solo de los resultados de las pruebas, sino sobre los colegios, los intereses de los estudiantes, los profesores, las familias, los medios materiales¡­) acerca de cientos de miles de alumnos de 15 a?os de todo el mundo. En esta ¨²ltima prueba han participado 295.416 j¨®venes de 67 pa¨ªses y regiones (por ejemplo, de China participan por separado, Hong Kong y Shangh¨¢i). Sin embargo, a medida que aumentaba el ¨¦xito de PISA (no hay pol¨ªtico que no lo saque a colaci¨®n para justificar su reforma, como ha hecho el ministro de Educaci¨®n espa?ol, Jos¨¦ Ignacio Wert, con su reci¨¦n aprobada ley educativa), tambi¨¦n se han ido acumulando las cr¨ªticas.

Las hay desde las que simplemente se quejan del uso torticero de sus resultados en forma de ranking de pa¨ªses (algo que desaconsejan los propios responsables de la OCDE) o con lecturas que no reflejan los matices evidentes de unos resultados estad¨ªsticos que, por supuesto, tienen margen de error, ni la dificultad de hacer comparables mediante preguntas concretas de un examen tradiciones e historias educativas tan distintas. Pero tambi¨¦n las hay que enmiendan la totalidad del informe, pues aseguran que formalmente no est¨¢ bien hecho (por la selecci¨®n de las preguntas, o por las f¨®rmulas estad¨ªsticas utilizadas), lo cual lo convierte, simplemente, en inservible para lo que pretende: evaluar y comparar los resultados de los sistemas educativos de todo el mundo de tal manera que se pueda saber el impacto de sus pol¨ªticas y guiar decisiones futuras.

¡°Existe una literatura acad¨¦mica creciente que dice que se trata de unos resultados simplificados de lo que pretende ser el rendimiento en lectura, matem¨¢ticas y ciencias. Hay investigaciones que demuestran que los pa¨ªses no pueden ser clasificados de manera inequ¨ªvoca a lo largo de una ¨²nica escala¡±, escribe el profesor de Estad¨ªstica Social de la Universidad de Bristol Harvey Goldstein. La OCDE se declara consciente de las limitaciones de PISA, pero defiende que sus m¨¦todos son los m¨¢s adecuados y que siempre los ha hecho p¨²blicos con transparencia. ¡°La confianza en la solidez de PISA se basa en el rigor que se aplica a todos los aspectos t¨¦cnicos del dise?o de la encuesta, la ejecuci¨®n y el an¨¢lisis, no solo en la naturaleza del modelo estad¨ªstico, que se ha desarrollado a trav¨¦s del tiempo y continuar¨¢ haci¨¦ndolo. [¡­] la solidez de la evaluaci¨®n radica en el rigor de los procedimientos utilizados en el desarrollo, prueba, an¨¢lisis, revisi¨®n y selecci¨®n¡±, asegura la p¨¢gina web del informe.

"La fiabilidad de los datos se basa en el rigor", asegura la OCDE

Pero, llegados a este punto, habr¨ªa empezar por el principio: ?en qu¨¦ consiste la prueba y c¨®mo se llega hasta los resultados finales?

Cada pa¨ªs elige una muestra estad¨ªsticamente representativa de alumnos de 15 a?os (da igual que hayan repetido y no est¨¦n en el curso que les corresponde; en Espa?a, cuarto de ESO); edad a la que en la inmensa mayor¨ªa de los pa¨ªses se acaba de terminar o se est¨¢ a punto de acabar la escolarizaci¨®n b¨¢sica y obligatoria. A los estudiantes de esa muestra se les hace un examen.

?Sobre qu¨¦? Los responsables del estudio declaran que su objetivo no es descubrir si los alumnos se saben los contenidos de las asignaturas o las ¨¢reas de estudio sino evaluar lo que los alumnos saben hacer con lo que han aprendido, es decir, lo que han llamado destrezas en lectura, matem¨¢ticas y ciencias. En cada edici¨®n (cada tres a?os desde el 2000), el examen se centra en una de esas competencias, concentrando la mayor parte de las preguntas que contestan los estudiantes. El que se presenta hoy se centra en matem¨¢ticas. ¡°Cada encuesta PISA incluye unas siete horas de material de prueba. Despu¨¦s, cada estudiante hace una prueba de dos horas con una combinaci¨®n de los materiales, diferente para cada estudiante¡±, explica la web de la OCDE. Aseguran, adem¨¢s, que las preguntas se van expurgando a?o a a?o para eliminar aquellas que puedan tener un sesgo cultural o ling¨¹¨ªstico que condicione los resultados (cada pa¨ªs, claro, lo hace en su propio idioma). Algunas de las preguntas de las pruebas se publican despu¨¦s (se pueden consultar en ingl¨¦s aqu¨ª), pero no todas, pues hay una serie de cuestiones que se repiten a?o tras a?o para que los resultados se puedan comparar.

Un profesor dan¨¦s pone en duda el m¨¦todo estad¨ªstico que se utiliza

Los resultados de los alumnos se dividen en escalas de rendimiento, desde el nivel 1, donde est¨¢n los alumnos que ¨²nicamente son capaces de responder bien a preguntas ¡°que solo requieren de las habilidades m¨¢s b¨¢sicas para completar¡±. A medida que aumenta la dificultad de las preguntas que saben responder, sube el nivel hasta el 5. Una vez que la prueba de un estudiante ha sido corregida, su puntuaci¨®n en la lectura, matem¨¢ticas y la ciencia se sit¨²a en la escala apropiada. Despu¨¦s, ¡°la puntuaci¨®n de cada pa¨ªs participante es el promedio de todas las calificaciones de los estudiantes en ese pa¨ªs. La puntuaci¨®n media de los pa¨ªses de la OCDE es de 500 puntos y la desviaci¨®n est¨¢ndar es de 100 puntos. Alrededor de dos tercios de los estudiantes en todos los pa¨ªses de la OCDE punt¨²an entre 400 y 600 puntos¡±, es decir, que est¨¢n en la media. No se da una nota combinada de cada pa¨ªs, sino separada en cada una de las ¨¢reas. Y advierten en cuanto a los ranking: ¡°Las puntuaciones reflejan una peque?a medida de la incertidumbre estad¨ªstica y, por tanto, solo es posible informar de un rango de posiciones en el que un pa¨ªs puede estar colocado. Por ejemplo, en PISA 2003 se inform¨® ampliamente que Finlandia y Corea del Sur fueron primero y segundo en la prueba, cuando en realidad solo podemos decir que, entre los pa¨ªses de la OCDE, el rango de Finlandia estuvo entre el primero y el tercero, y el de Corea del Sur, entre el primero y cuarto".

Sin embargo, los expertos que critican PISA van mucho m¨¢s all¨¢ de esas limitaciones admitidas por sus responsables. Para empezar, se ponen peros pedag¨®gicos, por la dificultad (o casi imposibilidad) de traducir en preguntas y despu¨¦s en resultados num¨¦ricos esa medici¨®n de competencias; esta idea la desarrolla el profesor de la Universidad de Wisconsin-Madison Thomas Popkewitz en su trabajo PISA: n¨²meros, estandarizaci¨®n de la conducta y la alquimia de las materias escolares. Harvey Goldstein asegura, adem¨¢s, que el hecho de tener que eliminar las preguntas que reflejan las diferencias culturales entre pa¨ªses reduce la prueba a ¡°una especie de ¡®m¨ªnimo com¨²n denominador¡¯ cuyo posible uso es muy limitado¡±. Y a?ade: ¡°Incluso si uno est¨¢ preparado para aceptar que estas pruebas son v¨¢lidas es bastante obvio que algunos pa¨ªses van a hacer mejor que otros por una mir¨ªada de razones posibles. Estas incluyen las diferencias culturales, la situaci¨®n econ¨®mica, el ¨¦nfasis en las t¨¦cnicas para hacer ex¨¢menes tanto como las diferencias genuinas en el desempe?o del pa¨ªs. Los resultados de PISA o cualquier otra comparaci¨®n similar no nos dicen pr¨¢cticamente nada acerca de las causas de las diferencias entre pa¨ªses¡±.

¡°Las puntuaciones reflejan una peque?a medida de la incertidumbre estad¨ªstica", admiten los responsables

El catedr¨¢tico de Sociolog¨ªa de la Complutense Julio Caraba?a lleva a?os se?alando en la misma direcci¨®n tras analizar los resultados e intentar dar explicaci¨®n a las diferencias. Los resultados ¡°no apoyan ning¨²n curso de acci¨®n determinado, pese a los piadosos esfuerzos de sus autores e int¨¦rpretes por apuntalar con sus datos ciertas corrientes pedag¨®gicas", ya que para cada afirmaci¨®n se puede encontrar un ejemplo que funciona al contrario. "Es problem¨¢tico juzgar la calidad de un sistema educativo diverso y complicado con una sola evaluaci¨®n, no importa lo buena que sea. PISA y TIMSS [una prueba de matem¨¢ticas y ciencias en primaria] est¨¢n bien dise?adas y bien implementadas, y proporcionan datos s¨®lidos sobre las habilidades y conocimientos, pero es mucho lo que PISA no eval¨²a", advierte en un trabajo del a?o pasado la investigadora del Centro de Estudios Independientes, de Australia, Jennifer Buckingham.

Golstein, adem¨¢s, asegura que PISA sistem¨¢ticamente se ha utilizado pol¨ªticamente para defender una cosa y la contraria: ¡°En el pasado, Finlandia, que ha aparecido siempre en la parte superior de los resultados y siempre por encima de Reino Unido, ha sido presentado como un modelo a seguir: desde la derecha, haciendo hincapi¨¦ en la 'formalidad' de los contenidos para justificar acercamientos hacia un curr¨ªculo tradicional; desde la izquierda, se?alando el car¨¢cter global del sistema finland¨¦s para justificar el restablecimiento comprensividad [que todos los alumnos siguen un camino b¨¢sicamente ¨²nico hasta el final de la escuela obligatoria] en Reino Unido¡±.

Muchos especialistas ¡ªpor ejemplo, recientemente Richard Rothstein, del Instituto de Pol¨ªtica Econ¨®mica,? y Martin Carnoy, de la Universidad de Stanford¡ª? han insistido asimismo en que, en realidad, las diferencias entre un enorme grupo de pa¨ªses desarrollados, en general, son muy peque?as, y son mucho m¨¢s grandes dentro de los pa¨ªses y, sobre todo, dentro de cada escuela, lo que refuerza la idea de lo poco que pueden decir sus resultados sobre las pol¨ªticas a seguir. Por ejemplo, frente a las lecturas catastrofistas sobre la mala situaci¨®n de Espa?a, muchos defienden que en realidad est¨¢n dentro, o muy muy cerca, del gran grupo. ¡°Si se transforman a una escala de estatura los resultados de PISA, el conocimiento medio en la OCDE ser¨ªa algo as¨ª como 180 cent¨ªmetros, y los chicos espa?oles medir¨ªan en lectura 178,8, no muy lejos de Reino Unido (180,1), Dinamarca (180,2) o Estados Unidos (180,7), seg¨²n suele ejemplificar el soci¨®logo de la universidad de La Laguna Jos¨¦ Saturnino Mart¨ªnez.

"No nos dicen pr¨¢cticamente nada acerca de las causas de las diferencias entre pa¨ªses", dice un experto ingl¨¦s

Pero tambi¨¦n hay cr¨ªticas sobre la propia metodolog¨ªa de la prueba. Mantienen que muchos estudiantes no responden preguntas de las tres ¨¢reas que se eval¨²an: por ejemplo, si el ¨¢rea principal es ciencias, todos se eval¨²an de esta, pero solo la mitad de matem¨¢ticas y la otra mitad de lengua. Y, sin embargo, todos reciben una nota de todas las ¨¢reas. ?C¨®mo? ¡°Es importante reconocer que PISA es una evaluaci¨®n a nivel de sistema y el dise?o de la prueba se crea con ese objetivo en mente. La evaluaci¨®n no genera calificaciones de los individuos, sino que calcula los valores plausibles para cada estudiante con el fin de proporcionar magnitudes del sistema¡±, respondi¨® recientemente la OCDE a la revista brit¨¢nica especializada en educaci¨®n TES. Lo hace utilizando un modelo estad¨ªstico llamado Rasch, por el estudioso que lo invent¨®.

Con ¨¦l trabaj¨® durante muchos a?os el profesor de la Universidad de Copenhague (Dinamarca) Svend Kreiner, que ha asegurado en distintas ocasiones que ese modelo no sirve, no funciona para PISA porque necesitar¨ªa que todos los alumnos respondieran exactamente a las mismas preguntas, seg¨²n el art¨ªculo de TES.

La OCDE responde a todo ello: ¡°Las evaluaciones PISA se han dise?ado de tal manera que el ajuste perfecto del modelo [matem¨¢tico] no es necesario para permitir comparaciones s¨®lidas entre los pa¨ªses. PISA tiene como objetivo investigar los aspectos de una materia en la amplitud y la profundidad, y tambi¨¦n tiene que seleccionar los elementos adecuados para estudiantes de una amplia gama de contextos geogr¨¢ficos y culturales. [¡­] Cualquier evaluaci¨®n de las habilidades de las personas, si se trata de un examen de la escuela secundaria, un examen de conducir o una evaluaci¨®n basada en muestras internacionales como PISA, tendr¨¢ cierta incertidumbre ya que los resultados dependen de las tareas que se eligen para la evaluaci¨®n, de variaciones de las formas en que se aplic¨® la prueba, el hecho de que la evaluaci¨®n se basa en muestras o incluso de la disposici¨®n de la persona que se examina. As¨ª que el objetivo de PISA no es eliminar la incertidumbre, sino el dise?o de instrumentos que permitan comparaciones s¨®lidas de la eficacia de los sistemas educativos¡±.