El fraude conceptual de los 'rankings' de universidades

De vez en cuando tenemos conocimiento, a trav¨¦s de diferentes medios de comunicaci¨®n, de diversas clasificaciones de nuestras Universidades (rankings) seg¨²n, se dice, se supone, su nivel de calidad. Es una especie de fen¨®meno peri¨®dico, de incidencia m¨¢s medi¨¢tica que cient¨ªfica, que produce sobre todo ruido y confusi¨®n, aparte de la satisfacci¨®n m¨¢s o menos inconfesada de los rectores de las que salen bien paradas en la operaci¨®n y del enfado expl¨ªcito de los rectores de las que quedan mal.

Desde una perspectiva meramente t¨¦cnico-metodol¨®gica, estas clasificaciones suelen construirse con elementos discutibles en muchos casos, por falta de rigor y significado en la elecci¨®n de elementos de an¨¢lisis, descontextualizaci¨®n de la informaci¨®n, debilidad de los datos, etc¨¦tera, lo que suele producir cierta crispaci¨®n entre personas implicadas en temas de calidad universitaria y la consiguiente propuesta de algunos, bienintencionada pero ingenua, de construir un ranking de universidades bien hecho, riguroso y sin debilidades t¨¦cnicas, para evitar esta especie de recurrente plaga informativa.

Los rankings que hemos visto ¨²ltimamente en nuestros peri¨®dicos son criticables desde esta perspectiva t¨¦cnico-metodol¨®gica y tiene muchos elementos de debilidad, pero su an¨¢lisis nos introducir¨ªa en terrenos francamente aburridos para muchos de los lectores, pero he de decir que tambi¨¦n tendr¨ªa abundantes puntos de debilidad esa propuesta de "ranking perfecto" que algunos proponen construir.

El mayor problema de los rankings a partir de indicadores diversos ( a menudo algunos pintorescos) no es el t¨¦cnico-metodol¨®gico, que tambi¨¦n lo es, pues el problema es mucho m¨¢s profundo, porque, de hecho, basan su construcci¨®n en la asunci¨®n de un modelo err¨®neo de interpretaci¨®n de la calidad institucional. Y esto, insisto, es una caracter¨ªstica de los rankings, que es independiente de la concepci¨®n de calidad institucional que tengan sus autores. La calidad global de una universidad, su calidad institucional, no es un concepto que pueda hacerse operativo en una variable, ni en unas pocas; se trata de un concepto multidimensional, con muchas y diversas acepciones. Adem¨¢s, la calidad est¨¢ condicionada por los objetivos y la tipolog¨ªa de la instituci¨®n y es relativa a las diversas audiencias implicadas (estudiantes, profesores, gestores, pol¨ªticos, empleadores...). En suma, calidad institucional es un paraguas bajo el que se integran muchas cosas diversas, cuya interpretaci¨®n y valoraci¨®n correcta s¨®lo es posible de una manera contextualizada.

Pues bien, los rankings que estamos comentando hacen caso omiso de esta realidad conceptual y asumen el modelo de que agregando, aditiva y/o interactivamente, algunos elementos (indicadores) relacionados con distintos componentes potenciales del paraguas-calidad, se puede definir un concepto ¨²nico y universal de calidad y, consecuentemente, clasificar por calidad a las universidades, al margen de su tipolog¨ªa y de sus caracter¨ªsticas espec¨ªficas y contextuales. En definitiva, la agregaci¨®n de indicadores que hacen estos rankings no es sino un artificio metodol¨®gico, m¨¢s o menos complejo, que conduce a un resultado que, en rigor, no se sabe lo que significa. Tanto es as¨ª que, cambiando los indicadores utilizados en el c¨¢lculo, o el m¨¦todo de c¨¢lculo, (cada ranking usa los suyos) llegar¨ªamos a otra cosa, que podr¨ªamos denominar tambi¨¦n indicador de la calidad de la universidad, pero que, de nuevo, tampoco sabr¨ªamos lo que realmente significa. Todos sabemos que mezclando trozos de frutas diversas no podemos conseguir una fruta gen¨¦rica, mayor y m¨¢s sabrosa; nunca pasamos de unos conglomerados que conocemos como macedonias.

Para edulcorar el problema de la contextualizaci¨®n, algunos rankings introducen en el polinomio de c¨¢lculo de la calidad ciertos identificadores descriptivos de las universidades, pero siempre limit¨¢ndose a elementos cuantificables. Obviamente, el proceso de contextualizaci¨®n es algo m¨¢s complejo, m¨¢s rico y m¨¢s refinado, cualitativa y cuantitativamente, que nunca puede ser sustituido por la introducci¨®n de algunos elementos correctores en el aludido polinomio.

Cuando hablamos de calidad institucional, la ineficacia docente no puede ser compensada por tener muchos recursos inform¨¢ticos, o muchos libros en la biblioteca, que, adem¨¢s, pueden ser viejos, nuevos, buenos, malos, usarse o no usarse. Los magn¨ªficos resultados acad¨¦micos en una titulaci¨®n nunca pueden hacer menos graves los desastres de otra. Un gran rendimiento investigador del departamento A, desgraciadamente, nunca pueden mejorar el rendimiento del departamento B, que es muy pobre... En otras palabras, el gestor de calidad sabe muy bien que englobar la calidad de una universidad en un n¨²mero, rompe todas las reglas del sentido com¨²n. El asunto se agrava much¨ªsimo m¨¢s cuando se intenta hacer lo mismo con todas las universidades a la vez, sean cuales sean sus caracter¨ªsticas definitorias y organizativas, su orientaci¨®n, su oferta y el contexto en que se ubican.

Hay que recordar que los rankings tradicionales americanos, que se empiezan a introducir a principios del segundo cuarto del siglo XX, no son de la naturaleza de los que estamos discutiendo, pues se limitan a comparar unidades m¨¢s homog¨¦neas como departamentos del mismo ¨¢rea de conocimiento y escuelas o programas formativos similares, especialmente de posgrado o de tipo profesional. Adem¨¢s, la base cl¨¢sica de clasificaci¨®n es el promedio del juicio de valor (puntuaci¨®n) de expertos, habitualmente directores de programas, departamentos, etc¨¦tera, del tipo de los comparados, y no la agregaci¨®n de indicadores de significaci¨®n diversa. Es mucho m¨¢s reciente la aparici¨®n de los rankings de este ¨²ltimo tipo, generalmente del brazo de alg¨²n medio de comunicaci¨®n o de una empresa editorial cercana, que tiene a la elaboraci¨®n de todo tipo de "rankings universitarios", con todo tipo de refinamientos de c¨¢lculo, como ¨¢mbito de negocio editorial.

No quiero terminar estos comentarios sin decir que la cr¨ªtica a los "rankings de universidades" en ning¨²n caso debe entenderse como una cr¨ªtica a los "indicadores universitarios", que son un instrumento importante para la gesti¨®n de la calidad institucional, pero interpret¨¢ndolos uno a uno y en su contexto. Aqu¨ª s¨®lo se critica la utilizaci¨®n abusiva de indicadores, dentro de un marco conceptual err¨®neo.

Tom¨¢s Escudero Escorza es catedr¨¢tico de M¨¦todos de Investigaci¨®n y Diagn¨®stico en Educaci¨®n-Universidad de Zaragoza y miembro de la Comisi¨®n de Coordinaci¨®n T¨¦cnica del Plan de la Calidad de las Universidades.