La ciencia vive una epidemia de estudios inservibles

Hace siglos, a Newton o a Galileo no les bastaba con hacer descubrimientos capaces de cambiar la historia. Deb¨ªan adem¨¢s repetir sus experimentos delante de todos sus colegas, y estos, a su vez, los repet¨ªan por su cuenta antes de quedar completamente convencidos. Este principio de reproducibilidad ha sido fundamental para el avance de la ciencia desde entonces. En la actualidad, esa garant¨ªa esencial se est¨¢ perdiendo, y pone en entredicho la validez de muchos estudios en casi todas las disciplinas.

El principio de reproducibilidad ha sido fundamental para el avance de la ciencia. En la actualidad, esa garant¨ªa esencial se est¨¢ perdiendo

Un grupo de investigadores de EE UU, Reino Unido y Holanda firma hoy un manifiesto para que la ciencia recupere parte de esa credibilidad y fiabilidad perdida. El principal autor del documento es el m¨¦dico e investigador de la Universidad de Stanford (EE UU) John Ioannidis. Desde hace a?os, ¨¦l es uno de los pioneros de la llamada ¡°metaciencia¡±, una disciplina que analiza el trabajo de otros cient¨ªficos y comprueba si se est¨¢n respetando las reglas fundamentales que definen la buena ciencia.

Seg¨²n un an¨¢lisis, resalta el manifiesto, el 85% de los esfuerzos dedicados a investigaci¨®n biom¨¦dica ¡°se acaban desperdiciando¡±. ¡°Se trata de estudios que no llegan a aplicarse nunca en la cl¨ªnica o que lo hacen de una forma negativa, y tambi¨¦n muchos otros que se abandonan en etapas muy tempranas¡±, explica Ioannidis. ¡°La mayor parte de las veces los experimentos no est¨¢n bien dise?ados¡±, denuncia el investigador. ¡°Por ejemplo, solo entre el 10% y el 20% de todos los estudios con animales est¨¢n aleatorizados para evitar los sesgos¡± inconscientes de los cient¨ªficos, resalta. En el caso de los ensayos cl¨ªnicos con pacientes, ¡°solo el 5% sigue todos los pasos correctamente¡±, denuncia. El problema afecta a ¡°casi cualquier disciplina de la ciencia¡±, asegura.

Estudios invalidados

En 2013, el m¨¦dico de Stanford public¨® un estudio que afirmaba que hasta el 95% pueden ser falacias sin rebatir. Otra revisi¨®n reciente invalid¨® miles de estudios de neurociencia basados en una t¨¦cnica de resonancia magn¨¦tica. Seg¨²n los investigadores, no solo los cient¨ªficos son responsables, sino tambi¨¦n las universidades, las poderosas revistas cient¨ªficas que publican los estudios, las agencias financiadoras y el resto de actores del sistema, asegura.

Una reciente encuesta realizada por Nature desvel¨® que el 90% de los cient¨ªficos reconoce que hay una crisis de reproducibilidad en la ciencia. En parte se debe a que la forma de producir conocimiento en la actualidad ha cambiado tanto que ser¨ªa casi irreconocible para los grandes genios de hace unos siglos. ¡°Antes se analizaban los datos en bruto, los autores iban a las Academias a reproducir sus experimentos delante de todo el mundo, pero ahora esto se ha perdido porque los estudios se basan en seis millones de folios de datos brutos¡±, opina Ioannidis. Uno de sus an¨¢lisis demostr¨® que la mayor¨ªa de estudios no da acceso a los datos brutos en los que se basan las conclusiones. Al final, los cient¨ªficos ¡°se creen lo que ven, pero no hay forma de comprobar que es cierto, y adem¨¢s no podemos usar esos datos posteriormente porque se han esfumado¡±, resalta. Esta falta de transparencia es uno de ¡°los mayores retos¡± que afronta la ciencia, asegura el m¨¦dico.

El manifiesto tambi¨¦n denuncia que solo se publican estudios con datos nuevos, significativos estad¨ªsticamente y que apoyan una teor¨ªa determinada. Muchos de ellos no aportan nada valioso o, peor a¨²n, acaban sustentando con la estad¨ªstica interpretaciones preconcebidas que no son ciertas. ¡°Esto, lamentablemente, no es descubrimiento cient¨ªfico, sino autoenga?o¡±, y puede multiplicar la cantidad de ¡°falsos positivos¡±, resalta el texto.

El Manifiesto por una ciencia reproducible, publicado hoy en abierto en Nature Human Behaviour, propone una serie de medidas para evitar malas pr¨¢cticas en todas las fases de una investigaci¨®n. Publicar los datos brutos y los estudios con resultados negativos es uno de los pasos m¨¢s importantes, se?ala Ioannidis. En general, el m¨¦tiodo cient¨ªfico sigue funcionando y de lo que se trata es de "volver a sus principios b¨¢sicos", explica.

Conocimientos "de andar por casa"

¡°O ponemos freno a esta p¨¦rdida en la reproducibilidad de los resultados cient¨ªficos o nos cargaremos todo el prestigio y credibilidad que, de momento, la clase cient¨ªfica parece tener acumulada¡±, alerta Lluis Montoliu, investigador del Centro Nacional de Biotecnolog¨ªa (CNB), involucrado en iniciativas para promover la integridad cient¨ªfica. ¡°Este es un tema tremendamente importante¡±, dice, ¡°deber¨ªa ser obligatorio para todos los estudiantes de doctorado¡±.

En el caso de los ensayos cl¨ªnicos con pacientes, ¡°solo el 5% sigue todos los pasos correctamente¡±, denuncia el autor principal del estudio. El problema afecta a ¡°casi cualquier disciplina de la ciencia¡±

Juan Lerma, investigador del Instituto de Neurociencias de Alicante, reconoce que muchos cient¨ªficos tienen un conocimiento estad¨ªstico ¡°de andar por casa¡±. ¡°Yo soy editor de la revista Neuroscience, recibo unos 2.000 estudios al a?o, y veo una deficiencia general en c¨®mo tratan los datos estad¨ªsticos¡±, reconoce. Lerma apunta a otra causa de la actual crisis. ¡°Se publican demasiados estudios y demasiado deprisa¡±, se?ala. ¡°Hace falta una reflexi¨®n general sobre el exceso de publicaci¨®n y las presiones por sacar estudios, las universidades miden los resultados al peso, y eso es un error¡±, resalta.

Lerma reconoce que el problema para reproducir estudios est¨¢ ¡°generalizado¡±, aunque eso no quiere decir que los trabajos est¨¦n mal. Su equipo descubri¨® unos nuevos neurotransmisores en el hipocampo, la parte del cerebro que controla la memoria, pero pasaron cinco a?os antes de que otro equipo pudo identificarlos por su cuenta, confirmado el hallazgo, explica. ¡°El problema es que muchos de los resultados actuales requieren unas t¨¦cnicas muy complejas¡± que muy poca gente aprende a dominar.

Parte de la culpa, cree Montoliu, es de las revistas. ¡°No hay que olvidar el papel c¨®mplice de determinados grupos editoriales, frecuentemente de revistas top, que prefieren publicar resultados inesperados, novedosos, espectaculares, que generan mucho ruido e impacto, antes de asegurarse y verificar sistem¨¢ticamente la fiabilidad de los mismos¡±, explica. Algunas instituciones en Espa?a ya est¨¢n tomando medidas para aplacar la crisis a la que hacen referencia los firmantes del manifiesto, explica Montoliu. Por ejemplo, se han incorporando profesionales de estad¨ªstica a los comit¨¦s de ¨¦tica del CNB y del propio CSIC, el mayor organismo de investigaci¨®n p¨²blica del pa¨ªs, asegura.