?Qui¨¦n es capaz de poner nota a la ciencia?

Solo los propios cient¨ªficos pueden determinar con rigor qu¨¦ investigaci¨®n cient¨ªfica es relevante, de alto nivel y merecedora de recibir financiaci¨®n. Tan alto es el conocimiento que hay que tener para valorar un proyecto de investigaci¨®n, tan especializada es ya la ciencia, que solo los propios expertos est¨¢n capacitados para ponerle nota. No valen ni sabios universales (que no los hay), ni ministros, ni instituciones aisladas. En esto est¨¢n de acuerdo los expertos y todos los pa¨ªses que tienen ¡ªo aspiran a tener¡ª un sistema de I+D desarrollado, y que hacen recaer el peso de la selecci¨®n de la investigaci¨®n sobre un sistema de evaluaci¨®n dentro de la propia comunidad cient¨ªfica, con matices y variaciones aqu¨ª o all¨¢, pero siempre con lo que se denomina revisi¨®n por pares, o peer review ¡ªen ingl¨¦s, que es el idioma de la ciencia¡ª. Y es que si uno trabaja en la frontera del conocimiento, solo quien tambi¨¦n est¨¦ en esa avanzadilla puede entender y valorar el inter¨¦s de lo que se investiga, si se est¨¢ haciendo bien y si realmente es algo nuevo y desconocido. Por supuesto, toda persona puede emprender la b¨²squeda, pero si pretende que se la financien, tendr¨¢ que pasar alg¨²n tipo de evaluaci¨®n que determine que merece la pena.

El Plan Nacional de I+D+i asign¨® el a?o pasado 309 millones a 3.100 propuestas

¡°Nadie puede garantizar la perfecci¨®n al 100%, pero el sistema de peer review es bueno y no se aprecia ninguna deficiencia obvia¡±, se?ala Francisco del ?guila, catedr¨¢tico de la Universidad de Granada y gestor del Programa de F¨ªsica de Part¨ªculas y Aceleradores del Plan Nacional de I+D. Parece que el sistema de evaluaci¨®n de la ciencia es un poco como el Estado de derecho, que no es perfecto, que precisa siempre atenci¨®n para mantenerlo saludable y para superar sus tensiones intr¨ªnsecas, pero no se conoce un sistema alternativo mejor.

¡°No hay, probablemente, una actividad que sea tan frecuentemente evaluada como la cient¨ªfica¡±, se?ala Pere Puigdomenech, investigador del CSIC y experto en biolog¨ªa de plantas. ¡°La revisi¨®n entre pares es un proceso de separaci¨®n del polvo de la paja y de asignar recursos financieros escasos a los proyectos cient¨ªficos que lo merecen¡±, a?ade Luis Sanz, investigador del CSIC y director del Instituto de Pol¨ªticas y Bienes P¨²blicos (IPP).

M¨¢s formalmente lo explica la OCDE: ¡°La revisi¨®n por pares es una evaluaci¨®n t¨¦cnica que, tradicionalmente, desempe?a un papel central en la investigaci¨®n cient¨ªfica y forma parte de los procedimientos de decisi¨®n para la asignaci¨®n de recursos y la formulaci¨®n estrat¨¦gica de programas. Lo utilizan todos los actores de la investigaci¨®n, incluyendo los Gobiernos y las empresas¡±.

Las directrices de pol¨ªtica cient¨ªfica tambi¨¦n inciden en la selecci¨®n

Algunos ejemplos: el Consejo Europeo de Investigaci¨®n (ERC) recibe cada a?o unas 10.000 propuestas de otros tantos investigadores de todo el mundo para recibir financiaci¨®n en sus tres programas dedicados a ciencia en la frontera del conocimiento. Al final recibe luz verde ¡ªy dinero¡ª solo un 10% de los investigadores que lo solicitan. El proceso de selecci¨®n (revisi¨®n por pares) dura varios meses, es complejo y se gasta en ¨¦l aproximadamente el 0,6% del total del dinero invertido en financiar las investigaciones aprobadas. ¡°Pero el mayor desperdicio o despilfarro ser¨ªa invertir el dinero en proyectos sub¨®ptimos o de segundo nivel, eso s¨ª que ser¨ªa tirar el dinero del contribuyente¡±, comenta, desde Bruselas, Alejandro Martin Hobdey, jefe de coordinaci¨®n de convocatorias del ERC.

?Qui¨¦n puede determinar si es interesante y factible ahondar en un determinado an¨¢lisis de gen¨®mica, o la viabilidad de un experimento para conocer las caracter¨ªsticas de una part¨ªcula elemental, o la t¨¦cnica m¨¢s adecuada para buscar planetas extrasolares sino los genetistas, f¨ªsicos o astr¨®nomos especialistas en esas cuestiones concretas? ¡°Cuando se quiere elegir, por ejemplo, entre distintas ofertas para construir una v¨ªa de tren entre dos ciudades¡±, argumenta Martin Hobdey. ¡°La Administraci¨®n misma puede definir muy claramente el problema a resolver, con un sinf¨ªn de detalles como el trayecto que debe seguir la v¨ªa, la pendiente m¨¢xima, la curvatura m¨¢xima, las estaciones, etc¨¦tera¡±. Pero en ciencia, ¡°puede haber solo unas pocas personas en el mundo capaces de juzgar un problema cient¨ªfico o si el problema est¨¢ bien formulado¡±.

Resulta m¨¢s costoso apostar por proyectos mediocres que pagar por inspeccionarlos

En Espa?a, desde el primer Plan Nacional de I+D, de 1986, los proyectos que tienen financiaci¨®n del Estado ¡ªo de comunidades aut¨®nomas¡ª pasan por un sistema de evaluaci¨®n por pares, que tambi¨¦n se aplica, por ejemplo, a los candidatos de contratos Ram¨®n y Cajal y Juan de la Cierva. ¡°Evaluamos cada a?o unos 25.000 expedientes, entre contratos y proyectos, y participan en los procesos unos 33.000 evaluadores¡±, explica Julio Bravo, director de la Agencia Nacional de Evaluaci¨®n y Prospectiva (ANEP). La suma total del dinero distribuido entre los 3.100 proyectos del Plan Nacional de I+D+i seleccionados en 2012 fue de 309 millones de euros y el coste de la evaluaci¨®n, se?ala Bravo, fue el 0,5% de esa cantidad. ¡°El sistema de evaluaci¨®n ha permitido 30 a?os de financiaci¨®n rigurosa de la ciencia¡±, se?ala Jacobo Santamar¨ªa, catedr¨¢tico de la Universidad Complutense y gestor del ¨¢rea de materiales. ¡°Antes el mecanismo no estaba estructurado y era un poco... un desbarajuste¡±.

36.000 cient¨ªficos participan en las revisiones de la NSF estadounidense

La Fundaci¨®n Nacional de la Ciencia (NSF, una de las dos grandes agencias federales estadounidenses de financiaci¨®n de la investigaci¨®n fundamental, junto con los institutos nacionales de salud) eval¨²a cada a?o 48.600 propuestas de investigaci¨®n ¡°y unos 36.000 cient¨ªficos est¨¢n involucrados en el proceso, siempre basada en el sistema de peer review¡±, explica Dana Topousis desde la sede de la NSF en Arlington (Virginia). En cuanto al coste, el presupuesto anual total de la NSF es de 5.350 millones de euros, de los que se gasta el 6% en gesti¨®n, operaci¨®n y evaluaci¨®n. ¡°Absolutamente todas las solicitudes se someten al proceso de peer review con dos criterios: m¨¦rito intelectual e impacto¡±, a?ade.

¡°La revisi¨®n por pares facilita la estabilidad necesaria en ciencia y representa la tensi¨®n esencial entre la tradici¨®n y la innovaci¨®n porque desaf¨ªa a las ideas novedosas para que sean nuevas de verdad, insistiendo en la conexi¨®n con la tradici¨®n, con el conocimiento cient¨ªfico establecido¡±, apunta Sanz. Con variaciones en la forma de organizar la evaluaci¨®n por pares, cuyo origen se remonta al siglo XVIII en la Royal Society brit¨¢nica, en todos los pa¨ªses desarrollados se recurre a ella a la hora de distribuir con eficacia la financiaci¨®n de la I+D en las Administraciones p¨²blicas y, cada vez m¨¢s, en entidades privadas.

El sistema naci¨® en el siglo XVIII y a¨²n se usa con algunas variaciones

Bravo explica el proceso que sigue la ANEP con los proyectos del Plan Nacional de I+D+i. M¨¢s de 7.000 investigadores presentan su solicitud cada a?o (los proyectos son trienales) y, tras verificar la documentaci¨®n, se env¨ªan a los coordinadores de ¨¢rea (hay 26) ¡°que son siempre del m¨¢ximo prestigio¡±, recalca. Los coordinadores forman los paneles necesarios. Cada solicitud de proyecto se remite a dos cient¨ªficos especialistas del tema para que hagan una evaluaci¨®n individual (teniendo en cuenta las incompatibilidades en todo el proceso) y, si las notas de los dos discrepan en m¨¢s de un 30%, se env¨ªa a un tercero o a un cuarto. Los criterios son: calidad del proyecto, planteamiento adecuado, novedad, capacidad del investigador principal para realizarlo, calidad del grupo y viabilidad.

Todos los evaluadores son voluntarios y asumen la responsabilidad por considerar que es una de sus obligaciones como investigadores (reciben unos 100 euros de remuneraci¨®n por evaluaci¨®n, que puede exigir horas de trabajo). Luego, el panel conjunto, con las evaluaciones individuales, confecciona una lista calificando cada proyecto. El Ministerio de Econom¨ªa y Competitividad, por su parte, sigue su evaluaci¨®n, sobre oportunidad e inter¨¦s de cada propuesta y, al final, se integran las dos patas del proceso general para dar una valoraci¨®n a cada solicitud y confeccionar la lista que permita seleccionar y asignar la financiaci¨®n a los buenos. El proceso de evaluaci¨®n dura, como m¨ªnimo, tres meses y las mayores dudas no se plantean entre los muy buenos o los malos, sino en las zonas grises, los intermedios. Al final es una decisi¨®n de pol¨ªtica cient¨ªfica, sobre todo, cuando hay escasez de fondos, si se financia plenamente a los mejores o se reparten un poco el dinero para alcanzar a cient¨ªficos que no est¨¢n en cabeza.

¡°El sistema espa?ol quiz¨¢s es demasiado garantista, tal vez porque es joven a¨²n, en comparaci¨®n con otros pa¨ªses, donde es m¨¢s fluido¡±, apunta Del ?guila. ¡°El sistema de peer review permite seleccionar la ciencia de alta calidad, pero hay que tener en cuenta tambi¨¦n que hay un criterio previo, de oportunidad, la pol¨ªtica cient¨ªfica, que puede orientar la selecci¨®n¡±. Y cuanto m¨¢s se compartimenta la ciencia para plasmar decisiones de pol¨ªtica cient¨ªfica, m¨¢s se desvirt¨²an los resultados del peer review: si se asignan a priori recursos a objetivos diferenciados, es normal que en uno especialmente potente se queden fuera cient¨ªficos o propuestas de muy alto nivel, mientras que en otro se rellene el cupo con algo de mediocridad.

Los voluntarios que eval¨²an los trabajos reciben unos 100 euros por caso

En el ERC el enfoque es puramente de abajo arriba, es decir, ¡°son los cient¨ªficos los que definen el problema concreto que quieren investigar y las posibles v¨ªas o soluciones que quieren encontrar¡±, apunta Martin Hobdey.

De vez en cuando la evaluaci¨®n comete errores graves rechazando investigaciones que resultan ser muy importantes, pero antes o despu¨¦s el sistema acaba repar¨¢ndolos en otra convocatoria.

El peer review tiene sus defectos, recuerda Puigdomenech, ¡°el mayor de los cuales es el conflicto de intereses, porque el evaluador puede tener inter¨¦s en el proyecto que eval¨²a, o amistad con el investigador, o todo lo contrario. La soluci¨®n est¨¢ en la transparencia del proceso, en utilizar el mayor n¨²mero posible de evaluadores y en la mayor lejan¨ªa geogr¨¢fica posible de estos respecto a quienes presentan los proyectos¡±. Aboga por la participaci¨®n de cient¨ªficos extranjeros en todo el proceso, lo que exige recursos. ¡°Acaba siendo m¨¢s caro financiar proyectos mediocres o contratar a gente poco calificada que pagar el avi¨®n a un investigador extranjero¡±, apunta Puigdomenech. En el sistema de la ANEP son extranjeros el 9% de los evaluadores, y hay ¨¢reas, como f¨ªsica de part¨ªculas, que siempre cuenta con expertos de otros pa¨ªses.

En Catalu?a lo tienen muy claro con la Instituci¨®n Catalana de Investigaci¨®n y Estudios Avanzados (ICREA) que selecciona cient¨ªficos de muy alto nivel. Para el proceso de evaluaci¨®n se eligen ¡°personas de reconocido prestigio acad¨¦mico y obligatoriamente tienen que estar trabajando fuera de Catalu?a (con una proporci¨®n importante de extranjeros)¡±, se?ala Jaume Bertran Petit, director de ICREA. ¡°Los criterios son de excelencia investigadora y proyecci¨®n del candidato¡±. La instituci¨®n recibe cada a?o unas 200 solicitudes y se hacen unos 15 contratos. ¡°?Que si es cara la evaluaci¨®n? El total de los sueldos de los contratados (235) ascendi¨®, en 2012, a 20 millones de euros, pero esos investigadores captaron 60 millones en proyectos competitivos¡±, zanja Bertran Petit.