La ciencia está en medio de una crisis:una fracción sorprendente de los estudios publicados no logra replicar cuando se repiten los procedimientos.

Por ejemplo, toma el estudio, publicado en 2007, que afirmaba que los problemas matemáticos complicados que requieren una reflexión cuidadosa son más fáciles de resolver cuando se presentan en una fuente difusa. Cuando los investigadores descubrieron en un pequeño estudio que el uso de una fuente difusa mejoraba la precisión del rendimiento, apoyó la afirmación de que enfrentarse a desafíos de percepción podría inducir a las personas a reflexionar con más atención.

Sin embargo, 16 intentos de replicar el resultado fallaron, demostrando definitivamente que la afirmación original era errónea. Trazados juntos en un gráfico, los estudios formaron una curva de campana perfecta centrada alrededor del efecto cero. Como suele ocurrir con las fallas en la replicación, de los 17 intentos totales, el original tenía tanto el tamaño de muestra más pequeño como el resultado más extremo.

El proyecto de reproducibilidad, una colaboración de 270 psicólogos, ha intentado replicar 100 estudios de psicología, mientras que un informe de 2018 examinó estudios publicados en las prestigiosas revistas académicas Nature and Science entre 2010 y 2015. Estos esfuerzos encuentran que alrededor de dos tercios de los estudios se replican hasta cierto punto, pero que la fuerza de los hallazgos es a menudo más débil de lo que se afirmó originalmente.

¿Es esto malo para la ciencia? Ciertamente es incómodo para muchos científicos cuyo trabajo se ve socavado, y la tasa de fallas puede ser actualmente inaceptablemente alta. Pero, como psicólogo y estadístico, Creo que afrontar la crisis de la replicación es bueno para la ciencia en su conjunto.

Practicando la buena ciencia

Primero, estos intentos de replicación son ejemplos de buena ciencia que funciona como debería. Son aplicaciones enfocadas del método científico, experimentación y observación cuidadosas en la búsqueda de resultados reproducibles.

Mucha gente asume incorrectamente que, debido a la "p <.05 "umbral de significación estadística, sólo el 5% de los descubrimientos resultarán ser errores. Sin embargo, hace 15 años, El médico John Ioannidis señaló algunas falacias en esa suposición, argumentando que los descubrimientos falsos constituían la mayor parte de la literatura publicada. Los esfuerzos de replicación están confirmando que la tasa de falsos descubrimientos es mucho mayor que el 5%.

La conciencia sobre la crisis de la replicación parece estar promoviendo un mejor comportamiento entre los científicos. Hace veinte años, el ciclo de publicación se completó básicamente después de que un científico convenciera a tres revisores y a un editor de que el trabajo era sólido. Sí, la investigación publicada pasaría a formar parte de la literatura, y por lo tanto abierto a revisión, pero ese fue un proceso lento.

Hoy dia, se ha planteado lo que está en juego para los investigadores. Saben que existe la posibilidad de que su estudio sea revisado por miles de comentaristas obstinados en Internet o por un grupo de alto perfil como el Reproducibility Project. Algunas revistas ahora requieren que los científicos pongan a disposición sus datos y códigos de computadora, lo que hace que sea más probable que otros detecten errores en su trabajo. Y lo que es más, algunos científicos ahora pueden "registrar previamente" sus hipótesis antes de comenzar su estudio, el equivalente a tomar su decisión antes de tomarla.

Combinado con el intercambio abierto de materiales y datos, el prerregistro mejora la transparencia y reproducibilidad de la ciencia, es de esperar que se asegure de que una fracción más pequeña de los estudios futuros no se pueda replicar.

Si bien hay indicios de que los científicos están reformando sus métodos, todavía queda un largo camino por recorrer. Fuera del 1, 500 presentaciones aceptadas en la reunión anual de la Sociedad de Medicina del Comportamiento en marzo, solo 1 de cada 4 de los autores informó haber utilizado estas técnicas de ciencia abierta en el trabajo que presentaron.

Mejorando la intuición estadística

Finalmente, la crisis de la replicación está ayudando a mejorar las intuiciones de los científicos sobre la inferencia estadística.

Los investigadores ahora comprenden mejor cómo los diseños débiles con alta incertidumbre, en combinación con la elección de publicar solo cuando los resultados son estadísticamente significativos, producen resultados exagerados. De hecho, es una de las razones por las que más de 800 científicos han argumentado recientemente a favor del abandono de las pruebas de significación estadística.

También apreciamos mejor cómo los hallazgos de investigación aislados encajan en el patrón más amplio de resultados. En otro estudio, Ionnadis y el oncólogo Jonathan Schoenfeld examinaron la literatura epidemiológica en busca de estudios que asociaran 40 ingredientes alimentarios comunes con el cáncer. Hubo algunas tendencias amplias y consistentes, como era de esperar, tocino, la sal y el azúcar nunca protegen contra el cáncer.

Pero trazar los efectos de 264 estudios produjo un patrón confuso. Las magnitudes de los efectos informados fueron muy variables. En otras palabras, un estudio podría decir que un ingrediente determinado es muy malo para usted, mientras que otro podría concluir que los daños fueron pequeños. En muchos casos, los estudios incluso discreparon sobre si un ingrediente dado era dañino o beneficioso.

Cada uno de los estudios se informó en algún momento de forma aislada en un periódico o un sitio web como el último hallazgo en salud y nutrición. Pero tomado como un todo la evidencia de todos los estudios no fue tan definitiva como podría haber aparecido cada uno de los estudios.

Schoenfeld e Ioannidis también graficaron los 264 tamaños de efecto publicados. A diferencia de las réplicas de fuentes difusas, su gráfico de efectos publicados parecía la cola de una curva de campana. Se centró en cero con todos los hallazgos no significativos extraídos. La impresión inconfundible de ver todos los resultados nutricionales publicados presentados a la vez es que muchos de ellos podrían ser como el resultado de la fuente difusa:impresionante por sí solo, pero anómalo en la replicación.

La asombrosa posibilidad de que una gran parte de los resultados de las investigaciones publicadas sean fortuitos es exactamente la razón por la que la gente habla de la crisis de la replicación. Pero no es realmente una crisis científica, porque la conciencia está aportando mejoras en la práctica de la investigación, nuevos conocimientos sobre la inferencia estadística y una apreciación de que los hallazgos aislados deben interpretarse como parte de un patrón más amplio.

En lugar de socavar la ciencia, Siento que esto está reafirmando las mejores prácticas del método científico.

Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.