La evaluaci¨®n de la calidad universitaria

Cada a?o, al aproximarse el final de curso, se publican rankings de universidades con la finalidad declarada de informar a los futuros universitarios y a sus familias de las bondades relativas de los diferentes establecimientos, y la oculta de manipular un mercado, el de las titulaciones universitarias, que est¨¢ en crisis a causa del descenso demogr¨¢fico, de la competencia de los m¨®dulos profesionales y del crecimiento irracional de las ofertas p¨²blica y privada. A grandes rasgos, estas listas son cuestionadas por los detractores de la Ley Org¨¢nica de Universidades (LOU) y defendidas por sus valedores, como el ex director general de Universidades y reci¨¦n nombrado director de la todopoderosa Agencia Nacional de Calidad y Acreditaci¨®n.

Antes de referirnos a la evaluaci¨®n de la calidad, conviene entender que es de naturaleza polifac¨¦tica y resbaladiza, pues abarca aspectos tan dispares y dif¨ªciles de cuantificar como las clases te¨®ricas y pr¨¢cticas, las tutor¨ªas, la orientaci¨®n laboral de los estudiantes, los programas de pr¨¢cticas y de intercambio, las actividades extraacad¨¦micas, la utilizaci¨®n de los mecanismos de representaci¨®n por los diferentes estamentos, la relaci¨®n entre profesores y alumnos, la dotaci¨®n y accesibilidad de los servicios (aulas, bibliotecas, salas de estudio y laboratorios, especialmente), la investigaci¨®n te¨®rica y aplicada, etc. De la evaluaci¨®n de la calidad de las universidades se han ocupado organismos p¨²blicos y privados con metodolog¨ªas muy diferentes.

Los Planes Nacionales de Evaluaci¨®n de la Calidad de las Universidades Espa?olas (PNECUE), creados por el extinto Consejo de Universidades, han propiciado la evaluaci¨®n individualizada de las titulaciones en las distintas universidades de la siguiente forma. La propia universidad facilita los datos estad¨ªsticos de la titulaci¨®n a una comisi¨®n de evaluaci¨®n interna formada por representantes de profesores, alumnos y personal de administraci¨®n y servicios (PAS). Esta comisi¨®n elabora un informe, de acuerdo con cierto protocolo, que, tras ser discutido y aprobado por el centro, es remitido a los miembros de un comit¨¦ externo constituido por un acad¨¦mico de la especialidad, un experto en evaluaci¨®n y un representante del sector empleador. Este comit¨¦ efect¨²a una visita a la universidad, durante la cual inspecciona todos los servicios relacionados con la titulaci¨®n (aulas, laboratorios, bibliotecas, departamentos, centros sociales, instalaciones deportivas, etc.) y se re¨²ne por separado con el equipo directivo del centro, con los directores de departamento, con representantes de los profesores, con representantes de los alumnos de primer curso, de los restantes cursos de la titulaci¨®n y de doctorado, con egresados y con representantes del PAS.

El informe final (previamente expuesto y discutido en una sesi¨®n abierta) enuncia los puntos fuertes y los puntos d¨¦biles e incluye una lista de propuestas para la mejora de la calidad de la titulaci¨®n, pero no le asigna puntuaci¨®n alguna. Mi experiencia de los ¨²ltimos a?os como evaluador externo me ha permitido apreciar que la elaboraci¨®n del informe interno desencadena una reflexi¨®n profunda dentro de la titulaci¨®n, mientras que el informe final proporciona una buena radiograf¨ªa de la misma. Estos informes finales son p¨²blicos y suelen encontrarse en la p¨¢gina web del centro, siendo, en mi opini¨®n, la mejor herramienta disponible para la elecci¨®n de universidad y titulaci¨®n.

Un diario nacional pr¨®ximo al Gobierno publica anualmente un ranking de las 'mejores universidades' que est¨¢ basado en las respuestas a una ¨²nica pregunta realizada, por correo electr¨®nico, a ciertos acad¨¦micos: ?en qu¨¦ universidades -exceptuada la suya propia- tiene mayor calidad la titulaci¨®n de su especialidad? El criterio de ordenaci¨®n de las universidades es el n¨²mero de titulaciones en las que aparece cada una de aquellas entre las cinco mejores. Este procedimiento es cuestionable por la inevitable subjetividad de las respuestas y por la falta de garant¨ªas del muestreo.

Todav¨ªa m¨¢s objetable es el llamado Ranking de calidad de las universidades Espa?olas, elaborado por un equipo de soci¨®logos subvencionados por el Ministerio de Educaci¨®n, y que est¨¢ basado en datos oficiales tan ajenos a la calidad como la proporci¨®n de mujeres entre profesores y entre catedr¨¢ticos, o el n¨²mero total de libros propiedad de la universidad (sin tener en cuenta que ¨¦stos pueden ser inaccesibles -por exceso de demanda o por estar depositados en otro campus- u obsoletos).

Pero, en este Ranking de calidad de las universidades Espa?olas, es preciso hacer dos consideraciones m¨¢s. No s¨®lo las variables seleccionadas son inadecuadas y sesgadas y benefician, en consecuencia, a las universidades antiguas y dispersas, sino que son ponderadas arbitrariamente para obtener una presunta medida de calidad global, ignorando las herramientas del an¨¢lisis estad¨ªstico de datos.

Esta metodolog¨ªa difiere en poco de la utilizada por el diario londinense The Times para elaborar sus rankings de las universidades del Reino Unido, si bien el peri¨®dico brit¨¢nico utiliza datos oficiales m¨¢s fiables y elaborados que los espa?oles (v¨¦ase O'Leary et al., The Times Good University Guide 2003, Times Books, 2002).

Los rectores (tanto espa?oles como brit¨¢nicos) desconf¨ªan de estos rankings de universidades por su debilidad metodol¨®gica y por la inconsistencia de sus resultados. La Universidad de Alicante, sin ir m¨¢s lejos, ocupaba en 2002 el puesto 13 (de 70) en el primer ranking y el 39 en el segundo.

No sabemos todav¨ªa si las nuevas agencias de calidad y acreditaci¨®n seguir¨¢n la estela de los PNECUE o bien ser¨¢n forzadas a producir rankings de universidades. En cualquier caso, ser¨ªa un error, pues los resultados acad¨¦micos e investigadores (tesis le¨ªdas, patentes y publicaciones) s¨®lo pueden compararse para una misma titulaci¨®n, no siendo susceptibles de agregaci¨®n.

Perm¨ªtanme subrayar esta disparidad con una cita acaso ap¨®crifa. Cuentan de Gem¨¢n Ancochea, atrabiliario ex catedr¨¢tico de Matem¨¢ticas en Madrid, que, tras o¨ªr decir a cierto colega que sus ¨²ltimos trabajos versaban sobre las formas de fre¨ªr patatas le espet¨®: 'yo tambi¨¦n depongo todos los d¨ªas, pero no lo publico'.

Miguel ?ngel Goberna es catedr¨¢tico de Estad¨ªstica e Investigaci¨®n Operativa de la Universidad de Alicante