Estad¨ªsticas y realidades

Los al¨¦rgicos sabemos muy bien que con la llegada de la primavera aparece el polen de gram¨ªneas. Pues bien, con la misma previsibilidad, cuando se aproximan las elecciones nuestros medios de comunicaci¨®n se llenan de encuestas. Y, por supuesto, de an¨¢lisis de sus resultados. Siempre me ha sorprendido lo minucioso de esos an¨¢lisis que encuentran sesudas razones para justificar lo injustificable, a saber: que una subida o una bajada de un punto de uno u otro partido es consecuencia directa de una declaraci¨®n pol¨ªtica, de un error, o de cualquier otro hecho concreto. Un punto de subida o de ca¨ªda en una encuesta cuyo margen de error, ese que figura en la ficha t¨¦cnica que casi nadie se lee, suele estar en el entorno de un ¡À2%. Es decir, un punto, que no es estad¨ªsticamente representativo. M¨¢s all¨¢ del efecto sobre la opini¨®n p¨²blica que este tipo de an¨¢lisis puedan tener ¡ªque en las circunstancias actuales y dada la volatilidad del ¡°mercado¡± pol¨ªtico, no son despreciables¡ª, el hecho es que con frecuencia carecen de base cient¨ªfica alguna.

Con ser uno de los m¨¢s frecuentes, ¨¦ste no es el ¨²nico caso de error estad¨ªstico convertido en verdad pretendidamente incuestionable. Quiero referirme a otro no menos importante: el c¨¦lebre estudio PISA (Programme for International Student Assessment). No voy a valorar la utilidad que para los sistemas educativos tienen este tipo de estudios, que la tienen. Tampoco las cr¨ªticas que reciben, cada vez m¨¢s extendidas y muchas de las cuales comparto. Entre otras cosas, por la utilizaci¨®n exorbitante que de sus resultados hacen algunas autoridades educativas que han descubierto que lo mejor para tener buenas valoraciones en PISA es ense?ar a los alumnos a aprobar PISA.

Voy a comentar, simplemente, el uso ¡ª?c¨®mo llamarlo?¡ª poco informado que se hace en nuestro pa¨ªs, y no s¨®lo en nuestro pa¨ªs, de algunos de sus resultados, el empe?o en utilizar los informes PISA como si se trataran de las clasificaciones de la Liga de f¨²tbol o del festival de Eurovisi¨®n. Porque, como sucede en el caso de las encuestas pol¨ªticas, muchas veces se interpretan los resultados sin tener en cuenta las limitaciones del m¨¦todo estad¨ªstico utilizado para obtener las correspondientes calificaciones. Y ello a pesar de las advertencias que en el informe se recogen, una y otra vez, sobre los intervalos de confianza de los datos y, por tanto, acerca de lo que es y de lo que no es estad¨ªsticamente representativo. Pondr¨¦ algunos ejemplos de lo que quiero decir, relativos al estudio PISA 2012.

Se ha escrito que nuestros alumnos tienen resultados inferiores a los de la mayor¨ªa de los pa¨ªses de la Uni¨®n Europea. No es cierto. La puntuaci¨®n media de los alumnos espa?oles de 15 a?os en el ¨¢rea de matem¨¢ticas es de 484 puntos. La de los pa¨ªses de la Uni¨®n Europea es de 489. Una diferencia que no es estad¨ªsticamente representativa; es decir, los resultados de nuestros estudiantes est¨¢n en la media europea. Lo mismo que sucede en lectura y en ciencias, las otras dos ¨¢reas evaluadas en el referido informe.

Hemos podido leer que nuestros alumnos hab¨ªan empeorado en lectura en relaci¨®n con los resultados obtenidos en el a?o 2000. Tampoco es cierto; su resultado del a?o 2012 ¡ª488¡ª no es desde el punto de vista estad¨ªstico significativamente distinto que los 493 puntos obtenidos en aquel a?o. Como tampoco se puede decir, como se ha dicho, que los alumnos han mejorado en ciencias en relaci¨®n con la evaluaci¨®n del a?o 2006, por el hecho de haber pasado de 488 a 496 puntos. Ambos resultados, una vez m¨¢s, no tienen distinta significaci¨®n estad¨ªstica.

Tanto m¨¢s que la utilizaci¨®n incorrecta de alguno de los datos que aparecen en estos informes resulta destacable el poco inter¨¦s que suscitan otros.

Los informes PISA se utilizan como si fueran el Festival de Eurovisi¨®n

Por ejemplo, llama la atenci¨®n que el esfuerzo de mucha gente para glosar clasificaciones de dudoso valor estad¨ªstico utilizando las puntuaciones del informe PISA no haya comenzado por intentar explicar el significado de las diferencias observadas. ?Por qu¨¦ a nadie se le ha ocurrido pasar esas puntuaciones a la escala de 1 a 10? Si se hubiera hecho, por ejemplo otorgando un 10 al mejor pa¨ªs de la OCDE y un cero al peor, nos habr¨ªamos encontrado con que en ciencias los estudiantes espa?oles obtendr¨ªan una puntuaci¨®n media de 6,2, la misma que los de la Uni¨®n Europea y ligeramente inferior a los de la OCDE, que alcanzar¨ªan una puntuaci¨®n media de un 6,5.

Pero, en fin, lo que resulta m¨¢s chocante es que tanto despliegue anal¨ªtico no haya permitido discutir a fondo las diferencias entre los resultados obtenidos por nuestras distintas comunidades aut¨®nomas. Que, de entrada, no son mayores que las que se producen en otros pa¨ªses. Como, por cierto, no lo son las diferencias entre los distintos centros educativos. Pero que, sin embargo, merecen un comentario. Porque, por ejemplo, la distancia que separa a la comunidad aut¨®noma que mejor puntuaci¨®n consigue en matem¨¢ticas de la que obtiene peor calificaci¨®n es de 56 puntos.

Son diferencias que se correlacionan bastante bien tanto con la historia educativa de cada una de ellas como con su desarrollo socioecon¨®mico. En todo caso, una cosa es clara: con las mismas leyes b¨¢sicas, con la misma ordenaci¨®n acad¨¦mica, algunas de nuestras comunidades obtienen unos resultados que las colocan entre lugares destacados entre los pa¨ªses de la Uni¨®n Europea y otras, por el contrario, ocupan las ¨²ltimas posiciones. O dicho de otra manera: lo que parece demostrar el informe PISA es que el problema fundamental de nuestro sistema no est¨¢ en nuestras leyes estatales, id¨¦nticas para todas nuestras comunidades, aunque, por supuesto, ¨¦stas siempre puedan mejorarse. Es la misma conclusi¨®n que podr¨ªamos extraer de otros datos que se usan con profusi¨®n, los de las tasas de abandono escolar temprano ¡ªporcentaje de j¨®venes entre los 18 y los 24 a?os que no poseen ni el t¨ªtulo de bachiller ni el de formaci¨®n profesional de grado medio y que no cursan ning¨²n tipo de estudios¡ª que muestran acusadas diferencias entre comunidades.

Desde hace mucho tiempo se reclama, no sin raz¨®n, un amplio consenso educativo en nuestro pa¨ªs. Se piden reformas meditadas y, sobre todo, pactadas. Conviene recordar, en todo caso, que las dos ¨²ltimas leyes educativas espa?olas, la LOE del a?o 2006 y la denominada ley Wert, tuvieron amplios consensos: la LOE a favor, pues solo se opuso el PP; y la ley Wert en contra, ya que s¨®lo la vot¨® el PP. Como conviene precisar que en nuestro pa¨ªs s¨®lo ha habido tres grandes reformas educativas en democracia, o mejor dos y media: la LOGSE de 1990, y las ya mencionadas LOE, que supuso una revisi¨®n parcial de la LOGSE, y la ley Wert del a?o 2013.

Para alcanzar ese deseado consenso es conveniente partir de un diagn¨®stico compartido. Que empiece por admitir que los resultados educativos no cambian de la noche a la ma?ana, y que utilice de forma cient¨ªficamente correcta los estudios de los que disponemos. Empezando por el informe PISA. Y que huya de la tentaci¨®n de utilizar torticeramente esos informes para justificar leyes que con el pretexto de mejorar la calidad de la educaci¨®n acaban por imponer recetas puramente ideol¨®gicas, del siglo pasado.

Es muy dif¨ªcil escapar de la tentaci¨®n de utilizar las certezas que emanan de los n¨²meros. El problema no son los n¨²meros sino la forma en la que se llega a ellos. Lo aprendimos de ni?os: no se puede poner dos decimales a las medidas obtenidas con una regla dividida en dec¨ªmetros.

Alfredo P¨¦rez Rubalcaba fue ministro de Educaci¨®n y secretario general del PSOE.