Contra la perversi¨®n del sistema de evaluaci¨®n de la ciencia

Es bien sabido que la investigaci¨®n es el principal motor del progreso econ¨®mico y social; pero debe funcionar correctamente para que nos permita realmente mejorar nuestras vidas. Desafortunadamente, hay ...

Es bien sabido que la investigaci¨®n es el principal motor del progreso econ¨®mico y social; pero debe funcionar correctamente para que nos permita realmente mejorar nuestras vidas. Desafortunadamente, hay evidencias claras que indican la necesidad de reparar algunos aspectos sustanciales de la misma como son la falta de una financiaci¨®n adecuada, la escasa importancia que se concede en nuestro pa¨ªs a la investigaci¨®n interdisciplinar, la necesidad de un pacto de estado en investigaci¨®n, la evaluaci¨®n de los investigadores y la atracci¨®n y retenci¨®n de talento. En este art¨ªculo nos centraremos en estos dos ¨²ltimos aspectos: evaluaci¨®n y talento.

En Espa?a, la investigaci¨®n de los investigadores, de los profesores universitarios, y de los que aspiran a serlo, se eval¨²a casi exclusivamente bas¨¢ndose en criterios bibliom¨¦tricos. Es decir, con una contabilidad del volumen de publicaciones, citas y otras medidas de naturaleza num¨¦rica. Pero, salvo excepciones, se excluye la evaluaci¨®n por pares. Es decir, que expertos en el tema emitan juicios bien argumentados sobre las contribuciones m¨¢s relevantes de los investigadores al avance en el conocimiento.

Los defensores del uso de criterios de evaluaci¨®n bibliom¨¦tricos argumentan que son m¨¢s ¡°objetivos¡± y menos costosos que la evaluaci¨®n por pares. La medida clave aqu¨ª es el llamado factor de impacto de las revistas donde los investigadores publicamos nuestros resultados. Este factor se calcula para cada revista de la forma siguiente: cada a?o, el factor de impacto de una revista es el resultado de dividir el n¨²mero total de citas que han recibido los art¨ªculos de esa revista en los dos a?os anteriores, entre el n¨²mero de art¨ªculos publicados en dicha revista durante esos dos a?os.

La realidad es que estas medidas indirectas no son adecuadas para evaluar las aportaciones cient¨ªficas de los investigadores. Un estudio de Philip Campbell, entonces editor de Nature (ver ¡°Escape from the impact factor¡±, Nature Vol. 8, 2008) revel¨® que las tres cuartas partes de los art¨ªculos publicados en esta prestigiosa revista no contribuyen al c¨¢lculo del factor de impacto de la revista. De hecho, el 80% de los art¨ªculos que se publican en Nature en un a?o dado reciben menos de 20 citas a lo largo de los siguientes dos a?os.

Por otra parte, es sabido que hay editores de revistas que, durante el proceso de revisi¨®n, piden a los autores de un art¨ªculo que citen a otros art¨ªculos recientemente publicados en la misma revista. De esta forma consiguen subir artificialmente el impacto de la revista.

En definitiva, se puede afirmar que el hecho de publicar un art¨ªculo en una revista de alto impacto no significa en absoluto que dicho art¨ªculo sea una contribuci¨®n cient¨ªfica de alta calidad. Habr¨ªa que analizar detalladamente la relevancia de las citas recibidas por el art¨ªculo en cuesti¨®n y el motivo de dichas citas, ya que un art¨ªculo puede recibir muchas citas por el hecho de contener resultados err¨®neos. El ejemplo m¨¢s conocido es un art¨ªculo que aparentemente demostraba que la fusi¨®n nuclear era posible a temperatura ambiente.

Malas praxis

Medir la producci¨®n acad¨¦mica al peso ha tra¨ªdo consigo un buen n¨²mero de trucos caracter¨ªsticos de la picaresca tan com¨²n en nuestro pa¨ªs. Algunos ejemplos de mala praxis pueden ser los siguientes.

Un investigador puede incrementar sus n¨²meros haciendo un pacto de publicaci¨®n con otros, que aparecer¨¢n como coautores en sus art¨ªculos, a cambio de aparecer como coautor en los art¨ªculos de los otros. Este acuerdo tambi¨¦n se extiende a las citas rec¨ªprocas.

El conocido clickbait, es decir, art¨ªculos con t¨ªtulos capaces de llamar la atenci¨®n de otros investigadores por el hecho de tratar un tema de moda, aunque dichos art¨ªculos sean aportaciones sin inter¨¦s. Otra estrategia consiste en escribir art¨ªculos que resuman el estado del arte de un campo (art¨ªculos de survey), pues es m¨¢s probable que reciban m¨¢s citas que art¨ªculos conteniendo aportaciones originales.

Otras veces se opta por dividir un resultado cient¨ªfico en trozos que no excedan la m¨ªnima unidad publicable. Este truco tambi¨¦n se conoce como publicaci¨®n salami. Esto aumenta artificialmente el n¨²mero de citas y de publicaciones.

En EL PA?S, as¨ª como en otros medios de comunicaci¨®n, recientemente se han publicado diversas noticias que dan cuenta de algunas de estas malas pr¨¢cticas que pervierten el sistema de evaluaci¨®n y que llegan a casos extremos como publicaciones de art¨ªculos, de una o dos p¨¢ginas y nula relevancia cient¨ªfica, conteniendo centenares de autocitas sin relaci¨®n con el contenido de dichos art¨ªculos. Nuestro compa?ero Jos¨¦ Luis Verdegay tambi¨¦n public¨® recientemente un magn¨ªfico art¨ªculo sobre este aspecto (¡°Productividad y calidad cient¨ªfica: ?dos caras de una misma moneda?¡±, Universidad 02/04/2024)

?Qu¨¦ se deber¨ªa hacer?

Una idea razonable para acercarnos a una medici¨®n m¨¢s fiel de la calidad de la producci¨®n cient¨ªfica consiste en utilizar criterios que internacionalmente funcionan en los pa¨ªses cient¨ªficamente m¨¢s avanzados. Por ejemplo, la Declaration on Research Assessment (DORA, San Francisco, 2013), el Joint Statement of Informatics Research Evaluation (Informatics Europe, 2020) o la Declaraci¨®n de M¨¢laga de la Sociedad Cient¨ªfica Inform¨¢tica de Espa?a (SCIE, 2020). En todos estos casos se insiste en que la evaluaci¨®n debe incluir la evaluaci¨®n por pares de las contribuciones cient¨ªficas, analizando con detalle las aportaciones m¨¢s all¨¢ del denominado ¡°estado del arte¡±. Es decir, m¨¢s all¨¢ del conocimiento actual sobre la materia motivo de investigaci¨®n, as¨ª como las posibilidades de que dichas contribuciones sean ¨²tiles para que otros investigadores obtengan m¨¢s y mejores resultados, de acuerdo con la famosa frase de Isaac Newton: ¡°Si he logrado ver m¨¢s lejos ha sido porque me he subido a hombros de gigantes¡±.

Pero, sobre todo, estos m¨¦todos de evaluaci¨®n necesitan estar complementados por algo que parece obvio: la responsabilidad de quien usa la evaluaci¨®n para tomar decisiones.

Las consecuencias de esta manera de evaluar

Queremos destacar las consecuencias negativas del sistema actual para marcar la meta que debemos perseguir los investigadores para progresar en la carrera profesional. Buscamos dar razones para cambiar las cosas.

En demasiados casos, los esfuerzos se centran en producir art¨ªculos con la finalidad de que acumulen citas; no necesariamente que sean importantes en alg¨²n aspecto. Hemos comprobado que este sinsentido es una realidad. Como consecuencia de se?alar esta meta, muchos de los j¨®venes que inician su carrera cient¨ªfica se ven tentados a sumarse a este juego de las citas. Lamentablemente, la mayor¨ªa de las veces no son llamados a participar en investigaciones interesantes que supongan un reto intelectual con el que crecer como investigadores. El resultado es que las j¨®venes promesas con m¨¢s talento se fugan a otros lugares lejos del sistema acad¨¦mico de investigaci¨®n espa?ol. Esto es especialmente grave y habitual en nuestro campo, la Inteligencia Artificial, pues hay muchos reclamos de otros pa¨ªses o de empresas privadas ofreciendo mejores recursos y condiciones salariales.

La fuga de talento frustra nuestras opciones de crecimiento. En cierto sentido, se destruye la ilusi¨®n que hab¨ªamos depositado en un futuro que las nuevas generaciones deb¨ªan protagonizar. Nuestros egresados necesitan perspectivas de progreso de su carrera profesional que motiven su inter¨¦s en ser parte esencial de nuestro sistema de I+D+I. Es fundamental ofrecer contratos estables y condiciones laborales dignas, incluyendo salarios competitivos que reconozcan el valor de su trabajo. La publicaci¨®n, sin m¨¢s, de material potencialmente citable no deber¨ªa ser un elemento a tener en cuenta para atraer talento. En definitiva, la atracci¨®n y retenci¨®n del talento investigador en Espa?a exige un cambio de paradigma en la gesti¨®n del conocimiento generado.

No queremos acabar estas l¨ªneas sin apuntar alguna v¨ªa de soluci¨®n a la atracci¨®n y retenci¨®n de talento. Poco original quiz¨¢s. Sugerimos mirar a los sistemas que siguen pa¨ªses de nuestro entorno y que han tenido ¨¦xito. Por ejemplo, el modelo brit¨¢nico. All¨ª, la financiaci¨®n de los centros de investigaci¨®n y departamentos universitarios depende de evaluaciones externas por pares y el resultado de las evaluaciones repercute en los salarios de los investigadores, incluidos los j¨®venes doctorandos. Por tanto, la responsabilidad de los gestores para hacer crecer a las instituciones incluye medidas no solo para retener talento, sino tambi¨¦n para atraerlo. Aparte de las condiciones salariales, la pieza clave es tambi¨¦n la capacidad para ilusionar a los j¨®venes con la calidad de la docencia y de los proyectos de investigaci¨®n.

Dejamos en el tintero muchas preguntas importantes. Por ejemplo, ?es deseable que haya universidades donde la investigaci¨®n no sea un objetivo prioritario? ?Deber¨ªa financiarse con fondos p¨²blicos la investigaci¨®n en grandes empresas del sector privado? Estos y otros aspectos deber¨ªan ser objeto de debate si queremos que un sistema de I+D+I de calidad comparable a la de los pa¨ªses cient¨ªficamente m¨¢s avanzados.

Puedes seguir a MATERIA en Facebook, X e Instagram, o apuntarte aqu¨ª para recibir nuestra newsletter semanal.