Una revisi¨®n invalida miles de estudios del cerebro

Imagine que el Word de Microsoft, uno de los editores de texto m¨¢s populares del mundo, tuviera un fallo de programaci¨®n que genera letras donde los usuarios teclean un espacio. Suponga tambi¨¦n que algunos mecan¨®grafos est¨¢n escribiendo a ciegas, sin revisar lo que teclean. Y que llevaran 15 a?os generando documentos con erratas y falsas letras donde deber¨ªa quedar un blanco. Eso es lo que ha ocurrido durante lustros en la investigaci¨®n de la actividad cerebral: un fallo del software que lee las resonancias magn¨¦ticas de la materia gris deja en entredicho miles de trabajos cient¨ªficos realizados este siglo. Porque adem¨¢s, seg¨²n una investigaci¨®n que acaba de publicarse, muchos investigadores no fueron rigurosos revisando y corrigiendo sus resultados en busca de borrones.

Esperaban un 5% de falsos positivos y en algunos casos dieron con un 70% de situaciones en las que el programa iluminaba una regi¨®n en la que no pasaba nada

La imagen por resonancia magn¨¦tica funcional (fMRI, por sus siglas en ingl¨¦s) es el m¨¦todo m¨¢s extendido para estudiar el esfuerzo que realiza una regi¨®n determinada del cerebro cuando se le asigna una tarea. La fMRI detecta qu¨¦ zonas est¨¢n reclamando m¨¢s energ¨ªa del flujo sangu¨ªneo gracias al ox¨ªgeno que transporta. El resultado son esos mapas en 3D de la materia gris con unas zonas iluminadas. Y los cient¨ªficos nos dicen: esa es la parte de tu cabeza que se activa cuando comes chocolate, cuando piensas en Trump, cuando ves pel¨ªculas tristes, etc.

Ahora, un equipo de cient¨ªficos liderados por Anders Eklund ha destapado que muchas de esas zonas se pudieron iluminar por error, por un fallo del software y el escaso rigor de algunos colegas. En su estudio, publicado en PNAS, cogieron 500 im¨¢genes del cerebro en reposo, las que se usan como punto de partida para ver si a partir de ah¨ª el cerebro hace algo. Usaron los programas m¨¢s comunes para realizar tres millones de lecturas de esos cerebros en reposo. Esperaban un 5% de falsos positivos y en algunos casos dieron hasta con un 70% de situaciones en las que el programa iluminaba una regi¨®n en la que no pasaba nada, dependiendo de los par¨¢metros.

Este estudio ha sido como el ni?o que grita que el emperador est¨¢ desnudo: ya se hab¨ªa denunciado que algunas de estas resonancias carecen de fortaleza estad¨ªstica y que se estaban sobrevalorando

Estos programas dividen el cerebro humano en 100.000 voxels, que son como los p¨ªxeles de una foto en versi¨®n tridimensional. El software interpreta las indicaciones de la resonancia magn¨¦tica e indica en cu¨¢les habr¨ªa actividad, a partir de un umbral que en muchos casos ha sido m¨¢s laxo de lo que debiera, propiciando falsos positivos. Adem¨¢s, los autores de la revisi¨®n analizaron 241 estudios y descubrieron que en el 40% no se hab¨ªan aplicado las correcciones de software necesarias para asegurarse, agravando el problema de los falsos positivos.

El revuelo ha sido sobresaliente en el campo de la neuroimagen, aunque se est¨¢ matizando la dimensi¨®n del problema. Inicialmente, Eklund y su equipo cuestionaban la validez de unos 40.000 estudios. Ahora han anunciado una correcci¨®n: Thomas Nichols, otro de los autores del estudio, calcula que son solo unos 3.500 los trabajos que ser¨ªan papel mojado. Pero es imposible saber cu¨¢les son o cu¨¢ntos exactamente. Hay tres lustros de ciencia con una sombra de duda sobre ellos.

En realidad, este estudio ha sido como el ni?o que grita que el emperador est¨¢ desnudo en el cuento de Andersen: en numerosas ocasiones se hab¨ªa denunciado que algunas de estas resonancias carecen de fortaleza estad¨ªstica y que se estaban sobrevalorando. "Esto ya se sab¨ªa. Hace 20 a?os que se hab¨ªa alertado de este problema. Y encima se ha ido haciendo m¨¢s y m¨¢s laxo el trabajo en este campo, con los resultados que ahora vemos", lamenta Bryan Strange, director del departamento de neuroimagen de la Fundaci¨®n CIEN (Centro de Investigaci¨®n de Enfermedades Neurol¨®gicas). Strange considera que "tiene todo el sentido" lo que denuncia el estudio y es "muy bueno que se advierta de este peligro".

"En cierto sentido, esto puede demostrar que es un error creer que hay soluciones f¨¢ciles en ciencia: conformarse con el resultado sin saber c¨®mo funciona", critica Canals

Santiago Canals, del Instituto de Neurociencias, s¨ª considera "sorprendente" que un paquete de software tan consagrado y popular tuviera un error sin detectar durante 15 a?os, como puso de manifiesto el estudio. No obstante, su grupo utiliza un programa propio. Y advierte de que muchos cient¨ªficos se han acercado al mundo de la neuroimagen desde otros campos sin conocer bien el proceso que estaban realizando.

"En cierto sentido, esto puede demostrar que es un error creer que hay soluciones f¨¢ciles en ciencia: conformarse con el resultado sin saber c¨®mo funciona el proceso", critica Canals, que cree que los mejores grupos de investigaci¨®n no est¨¢n en entredicho, ¨²nicamente algunos trabajos que se conformaban con resultados poco robustos estad¨ªsticamente.

Estos dos especialistas coinciden en que detr¨¢s de este problema tambi¨¦n est¨¢ otro m¨¢s general de la ciencia: no se est¨¢n replicando los estudios, nadie est¨¢ comprobando que lo que publican los dem¨¢s cient¨ªficos es correcto tratando de obtener los mismos resultados con los mismos m¨¦todos.

Strange tambi¨¦n est¨¢ convencido de que el impacto de esta controversia ser¨¢ bueno. "Se ha hecho tanto ruido que los revisores [especialistas independientes que corrigen los estudios antes de publicarse en revistas cient¨ªficas espec¨ªficas] van a estar al loro. Si en el pasado han dejado pasar estudios menos robustos, ya no lo van a hacer", asegura convencido. Aunque ¨¦l cree que no ser¨ªa dif¨ªcil identificar los trabajos sospechosos: "Los que nos dedicamos a esto podemos ver muy f¨¢cil el rigor de los autores en el m¨¦todo del estudio". Y a?ade: "Quiz¨¢ habr¨ªa que hacerlo".