Varas de medir

La financiaci¨®n de las universidades depende, en buena medida, de sus resultados en investigaci¨®n, no s¨®lo a trav¨¦s de las subvenciones directas por este concepto sino de las indirectas, pues las universidades compiten en la captaci¨®n de alumnos en base, fundamentalmente, a su reputaci¨®n investigadora. De ah¨ª que tanto los responsables de la pol¨ªtica cient¨ªfica de las administraciones p¨²blicas como los dirigentes universitarios anden obsesionados con la medici¨®n de los resultados de la investigaci¨®n, tanto en t¨¦rminos absolutos (producci¨®n) como relativos, es decir, teniendo en cuenta los recursos humanos y materiales que permiten generar dichos resultados (productividad). Analizar¨¦ brevemente las metodolog¨ªas con las que se vienen elaborando los rankings de universidades a escala internacional y nacional.

La VIU podr¨ªa estar en el 'ranking' de Shanghai si incorporase formalmente a algunos premios Nobel

Los rankings de calidad de las universidades del mundo m¨¢s famosos son los publicados peri¨®dicamente por el Times Higher Education magazine (THM) y por la Universidad de Shanghai (US). Se basa el primero en una macroencuesta en la que cada investigador consultado proporciona una lista de las (en su opini¨®n) 30 universidades del mundo que gozan de mejor reputaci¨®n en su especialidad, mientras que el segundo se obtiene a partir de datos estad¨ªsticos de acceso p¨²blico, casi todos ellos relativos a la investigaci¨®n, como el n¨²mero de premios Nobel en plantilla o el n¨²mero de art¨ªculos publicados por sus investigadores en revistas del ISI-JCR. Los especialistas en evaluaci¨®n coinciden en desde?ar ambos rankings, el del THM por la subjetividad del criterio empleado y por la dudosa representatividad de la muestra (s¨®lo el 1% de los 190.000 encuestados contest¨® la ¨²ltima macroencuesta) y el de la US por utilizar indicadores manipulables y sesgados de producci¨®n investigadora, nunca de productividad.

Por lo que respecta a la posible manipulaci¨®n de los ¨ªndices, hasta la incipiente Valencian International University (VIU) podr¨ªa entrar en el pr¨®ximo ranking US si se le incorporasen, siquiera fuese nominalmente, los investigadores m¨¢s productivos de las universidades valencianas y algunos de los Nobel que dan lustre a los premios Jaime I, quienes aceptar¨ªan gustosamente declararse miembros a tiempo parcial de esta fantasmal instituci¨®n por bastante menos de lo que Julio Iglesias cobr¨® en su d¨ªa por promocionar la imagen de la CV.

El sesgo del ranking de la US, es consecuencia inevitable de la agregaci¨®n de los datos de los diferentes campos sin efectuar una normalizaci¨®n previa. Seg¨²n el JCR de 2008, el n¨²mero de art¨ªculos publicados anualmente por un investigador promedio (situado en la mediana de su gremio) oscila entre 1 y 10, seg¨²n materias, a saber: matem¨¢ticas y computaci¨®n, 1; ingenier¨ªa, ciencias de los materiales, ciencias sociales, econom¨ªa y negocios, 2; f¨ªsica, bot¨¢nica, zoolog¨ªa, agricultura y psiquiatr¨ªa, 3; qu¨ªmica, ecolog¨ªa y geolog¨ªa, 4; farmacolog¨ªa, medicina cl¨ªnica y ciencias del espacio, 5; biolog¨ªa, microbiolog¨ªa y bioqu¨ªmica, 7; neurociencias, 8; gen¨¦tica, 9; e inmunolog¨ªa, 10. Que los matem¨¢ticos y los inform¨¢ticos publiquen por t¨¦rmino medio 10 veces menos que los inmun¨®logos podr¨ªa deberse a la estupidez o a la pereza de los primeros pero, m¨¢s probablemente, a que sus art¨ªculos tienen menos firmantes, son de mayor longitud y se gestan m¨¢s lentamente.

En otras palabras, la US no s¨®lo se limita a medir la cantidad de investigaci¨®n sino que, encima, beneficia a las universidades que cuentan con mayor proporci¨®n de cient¨ªficos de la salud y experimentales al no dividir el n¨²mero de publicaciones de cada grupo por el promedio internacional de su gremio (normalizaci¨®n). No es de extra?ar que los rankings de la THM y de la US discrepen notoriamente, hasta el punto de que sus ¨²ltimas listas de top 200 tan s¨®lo ten¨ªan 133 universidades en com¨²n.

Tambi¨¦n es manifiestamente mejorable la metodolog¨ªa utilizada por G. Buela-Casal y otros colegas de la Universidad de Granada (Psicothema 21, 309-317, 2009) quienes elaboraron el ranking UG de las universidades p¨²blicas espa?olas en 2008 bas¨¢ndose en el n¨²mero de doctorados con menci¨®n de calidad ofertados y en las publicaciones en revistas del ISI-JCR, los tramos de investigaci¨®n reconocidos, las tesis doctorales dirigidas, los recursos captados por proyectos y las becas FPI asignadas de una muestra de 1.341 profesores, titulares y catedr¨¢ticos de universidad con al menos uno y dos tramos de investigaci¨®n, respectivamente. Entre los defectos metodol¨®gicos del ranking UG me permito se?alar la parvedad de la muestra -menos de 30 investigadores por universidad-, la falta de normalizaci¨®n de los ¨ªndices de productividad -n¨²mero de publicaciones, recursos captados para financiar proyectos (los de ciencias experimentales son mucho m¨¢s caros que los de ciencias b¨¢sicas) y n¨²mero de tesis doctorales le¨ªdas (cuyo tiempo medio de elaboraci¨®n difiere de unas materias a otras)-, el ocultamiento de investigadores que contribuyen a los resultados de investigaci¨®n y la ignorancia de la legi¨®n de profesores funcionarios improductivos (a escala nacional, s¨®lo investiga un tercio del profesorado funcionario).

Utilizando semejante vara de medir, no puede sorprender que las primeras posiciones del ranking UG est¨¦n copadas por las universidades recientes, como la Pablo Olavide, la Pompeu Fabra y la Miguel Hern¨¢ndez, que tienen una abundancia relativa de investigadores ocultos: miembros de institutos de titularidad compartida con el CSIC, contratados y becarios. Lo sorprendente es que pol¨ªticos, dirigentes universitarios y medios de comunicaci¨®n den cr¨¦dito a informes elaborados con metodolog¨ªas tan endebles.

Miguel ?ngel Goberna es catedr¨¢tico de Estad¨ªstica e Investigaci¨®n Operativa de la Universidad de Alicante.