Un descubrimiento irrepetible

Es probable que el lector haya o¨ªdo hablar de los premios IgNobel (juego de palabras entre los premios Nobel y la palabra inglesa ignoble (innoble), una iniciativa mordaz de los chicos de Harvard donde las investigaciones m¨¢s grotescas del a?o pugnan por recibir su merecido. Pero la decana de las revistas sat¨ªricas de este g¨¦nero es The Journal of Irreproducible Results (la comicidad se pierde al traducirlo al espa?ol, y por otra parte no hace falta), fundada en 1955 y fuente desde entonces de risi¨®n e inspiraci¨®n para cient¨ªficos y gente normal. En ciencia solo hay una cosa peor que un resultado falso, y es un resultado irreproducible. Del primero sabes que es mentira. Del segundo, ni eso.

En ciencia solo hay una cosa peor que un resultado falso, y es un resultado irreproducible

La necesidad irrenunciable de que los resultados cient¨ªficos sean reproducibles es una de las grandes causas de que los papers (los art¨ªculos t¨¦cnicos) suelan ser unos ladrillos ilegibles. ¡°Escr¨ªbelo para que lo entienda mi abuela¡± es una cosa. ¡°Escr¨ªbelo para que lo reproduzca mi abuela¡± es justo la contraria. Ah¨ª tiene que estar todo: c¨®mo elegiste tu muestra de poblaci¨®n y por qu¨¦, qu¨¦ sesgos puede incorporar sin que te hayas dado cuenta, qu¨¦ operadores estad¨ªsticos has elegido, a qui¨¦n le has comprado los reactivos y con qu¨¦ farmac¨¦uticas tienes alg¨²n inter¨¦s compartido. Todo lo necesario para que los dem¨¢s cient¨ªficos puedan reproducir tus resultados tiene que estar ah¨ª, allanando tu futuro pero arruinando tu prosa. Un resultado irreproducible no es ciencia, sino rumor.

Pero eso es solo la teor¨ªa. En la pr¨¢ctica, los cient¨ªficos que dedican su tiempo a reproducir los resultados de los dem¨¢s son muy raros, en el sentido de infrecuentes. Por supuesto, si inventas una t¨¦cnica rompedora que aumentar¨¢ en ¨®rdenes de magnitud la eficacia de una t¨¦cnica que utiliza todo el mundo, todo el mundo se tirar¨¢ encima de tu protocolo un minuto despu¨¦s de que lo publiques. Pero el resto de la producci¨®n cient¨ªfica ¨Cel 100%, redondeando un poco¡ª pasar¨¢ inescrutada por el filtro tupido de la confianza general. Nadie intentar¨¢ reproducirlo, y por tanto nadie comprobar¨¢ si es ciencia o rumor.

Es obvio que algo va mal. Tan mal como que la mitad de la psicolog¨ªa publicada no es ciencia

O as¨ª era hasta ahora. Un esfuerzo in¨¦dito y loable, llamado Proyecto Reproducibilidad, se ha tomado en serio el asunto y ha empezado a plantear, e identificar, una serie de ¨Cgraves¡ª problemas del sistema. En la entrega actual, 270 cient¨ªficos han intentado reproducir 100 experimentos publicados en los mejores journals de psicolog¨ªa experimental, y solo han conseguido reproducir la mitad. Nadie dice que eso sean exactamente ¡°fraudes cient¨ªficos¡± ¨Cyo tampoco¡ª, pero es obvio que algo va mal. Tan mal como que la mitad de la psicolog¨ªa publicada no es ciencia. ?No creen que esto es un problema?