Los 'rankings' imponen su ley a la Universidad

Cuando se habla de situar alguna universidad de un pa¨ªs -pongamos Espa?a- entre las 100 mejores del mundo o de Europa, se est¨¢ hablando b¨¢sicamente de dos rankings internacionales: el de la Universidad Jiao Tong de Shangh¨¢i, que se publica desde 2003, y el de la publicaci¨®n brit¨¢nica Times Higher Education (THE), de 2004.

Ambas se confeccionan as¨ª: se eligen unos indicadores, b¨¢sicamente de investigaci¨®n y prestigio (los premios Nobel o las medallas Fields ganadas por antiguos alumnos, una macroencuesta de opini¨®n, el n¨²mero de estudiantes extranjeros o las publicaciones en revistas cient¨ªficas), se les da un valor a cada uno y se agregan dando a cada uno un porcentaje de la nota final con la que se fija la clasificaci¨®n. Adem¨¢s, a los rankings generales se a?aden cada vez otras por ¨¢reas de conocimiento y geogr¨¢ficas, pero tienen menos repercusi¨®n.

Las listas de calidad se han convertido en un motor de pol¨ªticas p¨²blicas

Distintos art¨ªculos se?alan fuertes sesgos geogr¨¢ficos y disciplinares

Si los campus fueran m¨¢s transparentes, ser¨ªa m¨¢s f¨¢cil puntuarlos

"Existe un rechazo a la cultura de la evaluaci¨®n", escribe un investigador

As¨ª de sencillo. O no. Porque resulta que esos rankings han llegado a tener tanto impacto que llegan a condicionar pol¨ªticas: en Francia, la escasez de campus galos entre los 100 primeros acab¨® en una reforma legal; en Espa?a, el programa del Gobierno Campus de Excelencia Internacional -cuya segunda edici¨®n se acaba de fallar- reparte fondos a los mejores proyectos, con el objetivo, entre otros, de colocar a "las mejores universidades espa?olas dentro de las 100 mejores universidades europeas", tomando como referencia esos rankings (aunque el secretario general de Universidades M¨¤rius Rubiralta haya matizado ahora que esas clasificaciones no son un fin en s¨ª mismo).

En cualquier caso, junto a su popularidad e influencia -empresarios y fil¨¢ntropos toman muy en cuenta estas clasificaciones a la hora de invertir en universidades y los responsables universitarios se afanan en conocer a fondo sus mecanismos para escalar posiciones- han crecido tambi¨¦n las cr¨ªticas. Se han publicado en los ¨²ltimos a?os una buena cantidad de art¨ªculos cient¨ªficos que las cuestionan: aseguran que adolecen de rigor cient¨ªfico o que est¨¢n plagadas de limitaciones (algo que, en cierta medida, admiten sus propios autores) para medir lo que pretenden, ese concepto tan et¨¦reo e intangible llamado calidad a partir de unos indicadores muy parciales y discutibles, e incapaces de comparar de manera justa instituciones muy distintas.

En septiembre, en un encuentro organizado por la OCDE en Par¨ªs sobre el futuro de la universidad, muchos de los asistentes cargaron contra estas clasificaciones. El vicerrector de la Universidad Estatal de California, Charles Reed, las tach¨® de aut¨¦ntica "enfermedad". "La tendencia en favor de las herramientas de medici¨®n parece un instrumento de transparencia simp¨¢tico y barato, pero alienta soluciones simplistas sesgando las agendas pol¨ªticas. En ¨²ltima instancia, la necesidad de pol¨ªticas p¨²blicas se pierde en la creencia de que la cuantificaci¨®n es igual a calidad", dijo la profesora del Instituto de Tecnolog¨ªa de Dubl¨ªn Ellen Hazelkorn.

Pese a todo, su incuestionable ¨¦xito demuestra que "responden a una necesidad de informaci¨®n" a la que nadie hab¨ªa atendido, dice el investigador del Instituto de Ciencia y Tecnolog¨ªa de Ruman¨ªa Razvan Florian, quien en 2007 public¨® un art¨ªculo cient¨ªfico sobre los fallos del ranking de la Universidad de Shangh¨¢i. Florian habla del inter¨¦s de esas clasificaciones para elegir universidad, y s¨ª cree que favorecen la transparencia, la rendici¨®n de cuentas y la competitividad en pos de la mejora. De hecho, tambi¨¦n hay quien piensa que, pese a las limitaciones, el problema de fondo es que a las universidades no les gusta que les eval¨²en y tienen una cuenta pendiente con la rendici¨®n p¨²blica de cuentas.

El director del Laboratorio de Cibermetr¨ªa del CSIC, Isidro F. Aguillo, escrib¨ªa hace unos meses en el foro de la Revista Iberoamericana de Ciencia, Tecnolog¨ªa y Sociedad: "Se citan sesgos metodol¨®gicos, (geogr¨¢ficos, disciplinares, ling¨¹¨ªsticos), dudas epistemol¨®gicas sobre las bondades del an¨¢lisis de citas o desconocimiento de la estructura social e idiosincrasia acad¨¦mica de grupos y redes, pero en general lo que se ataca es el propio proceso evaluativo. Existe, pues, un rechazo a la cultura de la evaluaci¨®n".

En ese mismo art¨ªculo, sin embargo, Aguillo reconoc¨ªa los fallos de los principales rankings internacionales. De hecho, hace unas semanas, los diseccion¨® en la mesa redonda celebrada en torno a este tema en la Universidad de Navarra, en Pamplona. Por ejemplo, habl¨® sobre el excesivo peso que los premios Nobel tienen en el ranking de Shangh¨¢i: si no se contase el Nobel concedido a Severo Ochoa hace medio siglo, la universidad donde hab¨ªa estudiado mucho antes, la Complutense, bajar¨ªa unos 80 puestos en la clasificaci¨®n, y las dos universidades de Berl¨ªn, de las m¨¢s importantes de Europa, no est¨¢n entre las 100 primeras porque no se ponen de acuerdo sobre por cu¨¢l de ellas computa el Nobel de Einstein, por lo que no les cuenta a ninguna. Asimismo, dijo que las encuestas como la que se realiza para la clasificaci¨®n del Times Higher Education no sirven, sin dejar de lado que le merecen m¨¢s confianza los rankings que hagan las universidades que los de las empresas privadas. Tambi¨¦n critic¨® a los medios, por explicar mal qu¨¦ son y qu¨¦ miden esas clasificaciones, o por ir m¨¢s all¨¢ de lo que dicen los autores, errando, por supuesto.

En aquella misma mesa redonda estuvieron Nian Cai Liu, uno de los responsables de la clasificaci¨®n de Shangh¨¢i, y Phil Baty, representando la del THE. Ambos admitieron limitaciones de sus respectivos m¨¦todos, pero insistieron en que no ocultan la metodolog¨ªa usada (hay quien les acusa de que no es del todo transparente) y que cada uno puede sacar sus propias conclusiones.

Sin embargo, para el director de Evaluaci¨®n Institucional de la Universidad Nacional Aut¨®noma de M¨¦xico, Imanol Ordorika, lo m¨¢s preocupante es que esos rankings m¨¢s populares tienen un ideal muy claro: el de las universidades elitistas y volcadas en la investigaci¨®n. Estas tienen su paradigma en los centros m¨¢s importantes de Estados Unidos, sobre todo, Harvard, que ha ocupado siempre el primer puesto de esas clasificaciones con una sola excepci¨®n (este a?o, el ranking QS, que se desgaj¨® del Times despu¨¦s de un litigio) que ha colocado a Cambridge por encima. "Los rankings no son m¨¢s que harvar¨®metros", se queja Ortortika.

El profesor advierte de que, centr¨¢ndose sobre todo en la investigaci¨®n y el modelo de Harvard, se est¨¢n olvidando otros objetivos de la Universidad, como la docencia, el de las universidades que proceden de otras tradiciones, como las europeas en general y las espa?olas, en particular, o las "constructoras de Estado", como las latinoamericanas, por no hablar de la funci¨®n de desarrollo de la movilidad social.

Es innegable que el modelo de Harvard no est¨¢ nada mal como referencia, que probablemente la docencia all¨ª tiene pocos flancos por los que ser criticada (quiz¨¢ s¨ª por el lado elitista). Pero el problema puede ser el hecho de aceptar sin m¨¢s un modelo impuesto desde fuera sin pararse a pensar si es realmente el que se quiere alcanzar, plantea Carmen P¨¦rez Esparrells, profesora titular de Econom¨ªa Aplicada de la Aut¨®noma de Madrid, que firma el an¨¢lisis que acompa?a a este art¨ªculo.

En ese contexto, se est¨¢n ensayando otras f¨®rmulas. Por ejemplo, las que llegan sin m¨¢s aspiraci¨®n que ponderar una parte de los resultados universitarios, como el ranking SIR, del grupo espa?ol SCImago, liderado por el CSIC, que se centran ¨²nicamente en medir la investigaci¨®n y su impacto; o el Ranking Mundial de Universidades en la Web, tambi¨¦n del CSIC, que trata de medir la visibilidad y el impacto de los contenidos de las webs de las universidades (Isidro F. Aguillo es uno de los responsables de este ¨²ltimo). Pero estas clasificaciones tampoco se libran de las cr¨ªticas.

Por su parte, la Comisi¨®n Europea est¨¢ ensayando un multi-ranking: muchas clasificaciones tem¨¢ticas sin dar una general. "Un ranking universal no tiene sentido. Sin embargo, uno que integrase distintas preferencias del usuario ser¨ªa muy ¨²til. Por ejemplo, una clasificaci¨®n para estudiantes que buscan seguir sus estudios en otros pa¨ªses tendr¨ªa que integrar la oferta de cada universidad (grado, m¨¢ster, doctorado), las disciplinas, el precio de la matr¨ªcula, el coste de la vida, la calidad del recibimiento a los estudiantes extranjeros, etc¨¦tera", dice por correo el profesor de la Universidad Polit¨¦cnica de Tours (Francia) Jean-Charles Billaut.

Pero esa idea choca una vez m¨¢s con la falta de datos internacionales comparables a disposici¨®n del p¨²blico. "Si las universidades proporcionasen otro tipo de datos, podr¨ªamos tener otro tipo de agregaciones m¨¢s ¨²tiles", dice el profesor Ordorika. Y en cualquier caso, seg¨²n Aguillo, los multi-ranking no sirven porque las clasificaciones "tienen que ser sencillas", aparte de ¨²tiles y de estar bien hechas t¨¦cnicamente.

La cuesti¨®n, entonces, ser¨ªa ponerse de acuerdo en el modelo de universidad que se quiere, elegir los indicadores que lo midan lo mejor posible, acordar tambi¨¦n los pesos de cada uno de ellos y aceptar la clasificaci¨®n. Eso puede hacerse o no -habr¨¢ qui¨¦n lo vea imposible-, pero, mientras tanto, el a?o que viene volver¨¢ a publicarse el ranking de Shangh¨¢i y el del Times, y el de QS...

As¨ª, en la Asociaci¨®n Europea de Universidades apuestan -adem¨¢s de seguir profundizando en los mecanismos internos de las universidades para garantizar la calidad-, por evaluar a los evaluadores, es decir, publicar¨¢n cada a?o un informe sobre las clasificaciones (Anual review of ranking), para que los responsables pol¨ªticos y de las instituciones entiendan qu¨¦ significan exactamente, dijo el presidente de la asociaci¨®n, el suizo Jean-Marc Rapp, en el encuentro de Navarra.

"Los rankings pueden ayudar a las universidades a compararse con sus iguales y puede motivarles para mejorar. Sin embargo, puede ser negativo si se empe?an solo en mejorar los indicadores con los que se construyen los rankings. Creo que las universidades son suficientemente inteligentes para no hacer eso", escribe Florian. Pero, esas clasificaciones, si comparan instituciones tan diversas, tan incomparables seg¨²n muchos, siempre ser¨¢n, de alguna manera, injustos. "Los indicadores reflejan solo algunos aspectos de la vida acad¨¦mica. Eso es inevitable y solo se puede mejorar si se asumen los costes de recoger datos m¨¢s relevantes y precisos", a?ade el investigador rumano.