M¨¢s de la mitad de los estudios en psicolog¨ªa no se pueden repetir

A principios de 2011, el psic¨®logo social holand¨¦s Diederik Stapel public¨® en la prestigiosa revista Science un art¨ªculo con resultados llamativos: los entornos desordenados favorecen los estereotipos y la discriminaci¨®n. Pocos meses despu¨¦s, una investigaci¨®n encabezada por Pim Levelt, antiguo presidente de la Academia Holandesa de Ciencias, concluy¨® que Stapel se hab¨ªa inventado los resultados de su trabajo, desde la recopilaci¨®n de datos hasta las encuestas que apoyaban sus conclusiones. No era la primera vez que lo hac¨ªa y, poco a poco, decenas de art¨ªculos del mismo autor fueron retirados por las revistas que los hab¨ªan publicado. Estudios que aseguraban que a veces el fracaso hace sentir mejor, que los anuncios de belleza hacen sentir feas a las mujeres o que el poder hace m¨¢s probable la infidelidad, eran fruto de la mente de un trilero y no de un trabajo cient¨ªfico honesto. En una entrevista con The New York Times, el investigador holand¨¦s trat¨® de explicar sus motivos. ?l amaba la psicolog¨ªa social, pero siempre se hab¨ªa sentido frustrado por el caos de los datos obtenidos en los experimentos, con los que era raro llegar a conclusiones claras. Su obsesi¨®n por la elegancia y el orden le hab¨ªa llevado a inventar resultados atractivos que gustaban en las revistas cient¨ªficas. Este tipo de esc¨¢ndalos, que tambi¨¦n se han producido en otros campos, pero preocupan especialmente en la ciencia psicol¨®gica, iniciaron un debate sobre la validez de los controles en este campo de la ciencia.

En un estudio, el 33,7% de los cient¨ªficos reconoci¨® pr¨¢cticas reprobables

Aunque casos como el de Stapel son extremos, la selecci¨®n de datos para mostrar resultados m¨¢s atractivos y m¨¢s f¨¢ciles de colocar en las revistas cient¨ªficas es frecuente. En un art¨ªculo que se public¨® en 2009 en la revista PLoS One, Daniele Fanelli, de la Universidad de Edimburgo, revis¨® una serie de estudios en los que se preguntaba a los investigadores si ellos o sus colegas hab¨ªa manipulado sus propias investigaciones para adaptarlos a sus intereses. Los resultados mostraban que un 1,97% de los cient¨ªficos explicaba que hab¨ªa inventado, falsificado o modificado datos o resultados al menos en una ocasi¨®n, y el 33,7% reconoc¨ªa otras pr¨¢cticas reprobables aunque menos graves. Cuando se les preguntaba por el comportamiento de los compa?eros, hasta un 14,1% afirmaba conocer casos de falsificaci¨®n de datos y un 72% dec¨ªa haber sido testigo de otros actos cuestionables.

Este tipo de actitudes, alimentadas por la presi¨®n por publicar sus investigaciones, han sembrado dudas sobre la posibilidad de replicar estudios en psicolog¨ªa, algo fundamental para que se la considere una ciencia seria. Los propios investigadores no tienen incentivos para ser fieles del todo a los datos ni para tratar de repetir los resultados de sus colegas, lo que provoca un c¨ªrculo vicioso. Las revistas cient¨ªficas prefieren resultados distintos y sorprendentes frente a trabajos que repliquen otros ya conocidos, y todos estos factores facilitan que la mala conducta o las peque?as triqui?uelas pasen desapercibidos.

Afrontar el problema

Esta semana, en la revista Science, la misma que public¨® el estudio fraudulento de Stapel, se publica el mayor trabajo conjunto para replicar estudios cient¨ªficos en psicolog¨ªa. Un grupo de 270 investigadores de todo el mundo intent¨® repetir los resultados de 100 art¨ªculos relevantes en la materia. Pese a contar con la colaboraci¨®n de los propios autores para conocer su metodolog¨ªa y las condiciones en las que obtuvieron sus resultados, solo fue posible obtenerlos de nuevo en un 39% de los casos. En algunos casos, los resultados obtenidos fueron los contrarios a los de la investigaci¨®n de referencia. Seg¨²n comentan los autores del trabajo, liderados por Brian Nosek, investigador de la Universidad de Virginia (EE UU), que no fuese posible replicar los resultados de un estudio no significa necesariamente que sean err¨®neos, pero son una se?al de que se han de realizar cambios para facilitar que se pueda hacer.

Los incentivos favorecen la b¨²squeda de trabajos innovadores a¨²n a costa de que se puedan reproducir

En un art¨ªculo que tambi¨¦n aparece en Science, el bi¨®logo y periodista John Bohannon, especializado en cuestionar los controles de calidad a los que se someten los art¨ªculos cient¨ªficos, afirma que ¡°estos resultados apoyan la idea de que los cient¨ªficos y los editores de las revistas cient¨ªficas est¨¢n sesgados -conscientemente o no- en lo que publican¡±. Adem¨¢s, se?ala que, incluso en los art¨ªculos que pudieron ser replicados, los efectos observados eran mucho menos claros que en los experimentos originales.

¡°Los cient¨ªficos quieren producir conocimiento fiable, pero tambi¨¦n necesitan producir resultados que les ayuden a mantener su trabajo como investigadores¡±, ha afirmado Nosek, que forma parte de una iniciativa para mejorar el problema que muestran en su art¨ªculo. ¡°Para tener ¨¦xito en la ciencia, los investigadores necesitan publicar, y algunos resultados son m¨¢s f¨¢ciles de publicar que otros, en particular aquellos que son novedosos y apuntan en direcciones nuevas y emocionantes¡±, contin¨²a. Por este motivo, muchos cient¨ªficos prefieren perseguir l¨ªneas de investigaci¨®n novedosas sin tener tanto en cuenta que sus resultados sean reproducibles. En casos extremos, la falta de incentivos para ser fiel a los datos ca¨®ticos que suelen surgir del trabajo cient¨ªfico produce fen¨®menos como el de Stapel.