Avisos para no quedar en evidencia comentando PISA

Realizado durante el a?o 2006, el tercer estudio PISA permite comparar los aprendizajes en Ciencias Naturales de los alumnos de 57 pa¨ªses, todos los de la OCDE m¨¢s otros muchos, tan dispares como Rusia, Chile, Tailandia o Kirguist¨¢n. En los dos estudios anteriores, la publicaci¨®n de los resultados suscit¨® gran variedad de comentarios y tomas de posici¨®n. Por desgracia, muchos fueron simplemente apresurados y poco informados, si no, adem¨¢s, interesados y partidistas. Estos defectos, que en los dos primeros informes pudieron pasar sin grave quebranto para el prestigio y la credibilidad de sus autores, tendr¨ªan m¨¢s dif¨ªcil disculpa si se repitieran a prop¨®sito del tercero, aunque solo fuera por lo mucho que puede aprenderse con el estudio de sus predecesores. A evitar tan indeseable reiteraci¨®n de errores est¨¢n dirigidos estos avisos, que pretenden ser ¨²tiles tanto a autores como a lectores.

Las diferencias menores de cinco puntos pueden deberse a errores aleatorios

Aviso 1. La puntuaci¨®n media de los pa¨ªses de la OCDE en PISA se establece por definici¨®n en 500, y la desviaci¨®n t¨ªpica en 100. Con esa m¨¦trica, diferencias de 10 y hasta 20 puntos son diferencias peque?as. Adem¨¢s, el tama?o de las muestras es tal que las diferencias menores de cinco puntos pueden deberse a errores aleatorios. Por ¨²ltimo, conviene tener en cuenta que la puntuaci¨®n media de los alumnos de la OCDE no es de 500, sino de 491.

Se avisa de evitar, por tanto, expresiones como "Espa?a a la cola", "el sistema espa?ol, un desastre" y otras semejantes que se usaron harto a la ligera cuando los informes anteriores. Si los resultados espa?oles est¨¢n a 12 puntos de la media de los pa¨ªses y a tres puntos de la media de los alumnos, lo prudente es decir que estamos al nivel medio de la OCDE. Y tambi¨¦n al de pa¨ªses con cuya compa?¨ªa ni so?amos en otros ¨¢mbitos, como Estados Unidos, Francia, Suecia, Dinamarca, Noruega o Luxemburgo.

Huelgan, por tanto, las recetas para salvar al sistema educativo espa?ol de ning¨²n desastre, porque el nivel de Espa?a ni es ni ha sido desastroso, sino bueno. Si se proponen remedios, conviene cuidar que sean de los que perfeccionan lo que ya est¨¢ bien, no de los que mejoran lo que est¨¢ muy mal.

Aviso 2. Las puntuaciones de los pa¨ªses en las pruebas PISA son muy estables. La mayor parte de los pa¨ªses repitieron puntuaciones en el a?o 2003 y parece que en 2006 (las variaciones de hasta cinco puntos son atribuibles al error de v¨ªnculo). Algunos pa¨ªses han subido o bajado unos 10 puntos, pero otros han bajado. S¨®lo tres o cuatro variaron m¨¢s de 15 puntos, arriba unos y abajo otros. La misma estabilidad que los pa¨ªses muestran las regiones (m¨¢s grandes algunas que algunos pa¨ªses).

Tengan pues muy presente quienes se duelan del estancamiento de Espa?a que repetir es la norma; y quienes se tomen la libertad de proponer f¨®rmulas de mejora, mejor las envuelvan en siquiera un somero informe sobre si han sido ensayadas por los pocos pa¨ªses o regiones que han mejorado, por los pocos pa¨ªses o regiones que han empeorado o, lo que es m¨¢s probable, por aquellos pa¨ªses (o regiones) que no han registrado variaci¨®n. No vale, desde luego, proponer la f¨®rmula finlandesa, sin aclarar cu¨¢l es y explicar por qu¨¦ nadie m¨¢s la aplica.

Aviso 3. Lo que los alumnos aprenden tiene poca o nula relaci¨®n con el gasto en ense?anza. Esta es una de las proposiciones m¨¢s y mejor confirmadas por los estudios de Econom¨ªa y Sociolog¨ªa de la Educaci¨®n desde su formulaci¨®n en 1966 por el Informe Coleman. Es tambi¨¦n uno de los hallazgos menos discutibles de los dos estudios PISA, el de 2000 y el de 2003 (ver figura 2.20, p. 102 de la edici¨®n Santillana). As¨ª, Espa?a tiene resultados iguales a los de Estados Unidos, y algo mejores que Italia, pa¨ªses que gastan dos veces m¨¢s que nosotros por alumno.

Cuidado, pues, con proponer gastar m¨¢s para mejorar los resultados. Podr¨ªa parecer que no hemos le¨ªdo los anteriores informes PISA, o que no los hemos entendido, o que nos dan lo mismo. Quien proponga gastar m¨¢s en Espa?a, que diga el uso que se debe dar al dinero y demuestre su eficacia. No vaya a ser que doblemos el gasto por alumno y nos quedemos donde Italia o los Estados Unidos (es decir, donde estamos; cosa que, por cierto, quiz¨¢s hemos hecho ya dos veces en los ¨²ltimos cuarenta a?os). Igualmente, quien proponga gastar m¨¢s a las comunidades aut¨®nomas deber¨ªa asegurarse de que su inversi¨®n va a resultar al menos algo m¨¢s eficaz que la vasca.

Aviso 4. Los resultados de PISA no tienen relaci¨®n con la organizaci¨®n de los sistemas educativos. Tampoco tienen relaci¨®n con los cambios legislativos. En los ¨²ltimos a?os muchos pa¨ªses han promulgado leyes cambiando la ordenaci¨®n de sus sistemas educativos para descentralizar (Espa?a, Argentina, Brasil, M¨¦xico), centralizar (Inglaterra, Estados Unidos), diversificar (los antiguos pa¨ªses socialistas), o simplemente cambiar. En general, las evaluaciones realizadas no registran huella alguna de estos cambios en los resultados de los alumnos.

Se advierte, pues, contra la tendencia a atribuir culpa o m¨¦rito a las leyes de ordenaci¨®n educativa, LOE, LOCE o LOGSE, ¨¦sta en particular, porque hayan descentralizado, diversificado o unificado o simplemente cambiado el sistema. No tiene base que la sustente. M¨¢s peligroso a¨²n ser¨ªa que alguien exhumara las dos evaluaciones oficiales de la pasada Reforma de las Ense?anzas Medias, ninguna de las cuales pudo otorgar ventaja ni desventaja a la Reforma ni a lo reformado.

Aviso 5. Los resultados PISA no dependen del color o la tendencia de los partidos pol¨ªticos en el poder, y menos del partido en el poder cuando los resultados se publican. Conviene recordar, en todo caso, que todos hemos mandado durante los 10 a?os que los alumnos de 15 llevan en la escuela, pero el PP un poco m¨¢s. En el a?o 2000, los alumnos de 15 a?os hab¨ªan estudiado seis a?os con el PSOE y cuatro con el PP. En el a?o 2003 hab¨ªan estudiado con el PP los ¨²ltimos siete a?os y con el PSOE solo los 3 primeros; y en 2006, los ministros han sido del PSOE los dos ¨²ltimos a?os y del PP los ocho anteriores.

Y, si nos vamos de los ministros a los consejeros, en Castilla-Le¨®n ha gobernado el PP, igual que en Valencia, Murcia y (casi) Baleares, que deben de estar por debajo de la media; en Andaluc¨ªa el PSOE, igual que en Asturias y a Arag¨®n, y en Catalu?a o el Pa¨ªs Vasco gobiernos nacionalistas, como en Canarias. En general, se advierte contra el uso de los resultados de PISA como arma electoral a quienes tengan escr¨²pulos, incluso pocos, ante la demagogia.

Aviso 6. No caer en la desesperaci¨®n tras los avisos anteriores. Hay muchas cosas cuya ineficacia no est¨¢ a¨²n totalmente demostrada, como ver menos televisi¨®n, pasar m¨¢s tiempo con los padres, dar m¨¢s prestigio a los profesores, aumentar la popularidad de los empollones o instruir deleitando. Y aunque no haya f¨®rmulas simples y generales para alcanzar a Finlandia, siempre podemos hacer mejor lo que ya estamos haciendo.

Julio Caraba?a es catedr¨¢tico de Sociolog¨ªa de la Educaci¨®n en la Universidad Complutense.