Si bien generalmente se espera la reproducibilidad computacional en la investigación científica cuando los datos y el código originales están disponibles, La falta de capacidad para replicar un estudio anterior, u obtener resultados consistentes al considerar la misma pregunta científica pero con datos diferentes, es más matizada y ocasionalmente puede ayudar en el proceso de descubrimiento científico. dice un nuevo informe ordenado por el Congreso de las Academias Nacionales de Ciencias, Ingenieria, y Medicina. La reproducibilidad y la replicabilidad en la ciencia recomiendan formas en las que los investigadores, instituciones académicas, revistas, y los donantes deben ayudar a fortalecer el rigor y la transparencia para mejorar la reproducibilidad y replicabilidad de la investigación científica.

Definición de reproducibilidad y replicabilidad

Los términos "reproducibilidad" y "replicabilidad" se utilizan a menudo indistintamente, pero el informe usa cada término para referirse a un concepto separado. La reproducibilidad significa obtener resultados computacionales consistentes utilizando los mismos datos de entrada, pasos computacionales, métodos, código, y condiciones de análisis. La replicabilidad significa obtener resultados consistentes en todos los estudios destinados a responder la misma pregunta científica, cada uno de los cuales ha obtenido sus propios datos.

La reproducción de la investigación implica el uso de los datos y el código originales, mientras que la replicación de la investigación implica la recopilación de nuevos datos y métodos similares utilizados en estudios anteriores, dice el informe. Incluso cuando un estudio se llevó a cabo rigurosamente de acuerdo con las mejores prácticas, correctamente analizado, e informado de forma transparente, es posible que no se pueda replicar.

"Ser capaz de reproducir los resultados computacionales de otro investigador comenzando con los mismos datos y replicando un estudio previo para probar sus resultados facilita la naturaleza autocorregible de la ciencia, y a menudo se citan como señas de identidad de la buena ciencia, "dijo Harvey Fineberg, presidente de la Fundación Gordon y Betty Moore y presidente del comité que llevó a cabo el estudio. "Sin embargo, factores como la falta de transparencia de los informes, falta de formación adecuada, y los errores metodológicos pueden impedir que los investigadores puedan reproducir o replicar un estudio. Financiadores de investigación, revistas, instituciones académicas, Responsables políticos, y los propios científicos tienen un papel que desempeñar en la mejora de la reproducibilidad y la replicabilidad al garantizar que los científicos se adhieran a los más altos estándares de práctica, comprender y expresar la incertidumbre inherente a sus conclusiones, y continuar fortaleciendo la red interconectada del conocimiento científico, el principal impulsor del progreso en el mundo moderno ".

Reproducibilidad

La definición de reproducibilidad del comité se centra en la computación porque la mayoría de las disciplinas de investigación científica y de ingeniería utilizan la computación como herramienta. y la abundancia de datos y el uso generalizado de la computación han transformado muchas disciplinas. Sin embargo, esta revolución aún no se refleja de manera uniforme en cómo los científicos usan el software y cómo se publican y comparten los resultados científicos, dice el informe. Estas deficiencias tienen implicaciones para la reproducibilidad, porque los científicos que deseen reproducir la investigación pueden carecer de la información o la formación que necesitan para hacerlo.

Cuando los resultados son producidos por procesos computacionales complejos que utilizan grandes volúmenes de datos, la sección de métodos de un artículo científico es insuficiente para transmitir la información necesaria para que otros puedan reproducir los resultados, dice el informe. Información adicional relacionada con los datos, código, modelos y se necesita análisis computacional.

Si hay suficiente información adicional disponible y un segundo investigador sigue los métodos descritos por el primer investigador, uno espera en muchos casos obtener los mismos valores numéricos exactos, o reproducción bit a bit. Para algunas preguntas de investigación, Es posible que no se pueda lograr la reproducción bit a bit y se podrían obtener resultados reproducibles dentro de un rango de variación aceptado.

La base de evidencia para determinar la prevalencia de la no reproducibilidad en la investigación es incompleta, y determinar el alcance de los problemas relacionados con la reproducibilidad computacional en o dentro de los campos de la ciencia sería una empresa masiva con una baja probabilidad de éxito, el comité encontró. Sin embargo, varios esfuerzos sistemáticos para reproducir resultados computacionales en una variedad de campos han fallado en más de la mitad de los intentos realizados, principalmente debido a detalles insuficientes en los datos, código, y flujo de trabajo computacional.

Replicabilidad

Una forma importante de confirmar o aprovechar los resultados anteriores es seguir los mismos métodos, obtener nuevos datos, y vea si los resultados son consistentes con el original. Una replicación exitosa no garantiza que los resultados científicos originales de un estudio fueran correctos, sin embargo, ni una sola réplica fallida refuta de manera concluyente las afirmaciones originales, dice el informe.

La no replicabilidad puede surgir de varias fuentes. El comité clasificó las fuentes de no replicabilidad en aquellas que son potencialmente útiles para adquirir conocimiento, y los que son inútiles.

Las fuentes potencialmente útiles de no replicabilidad incluyen incertidumbres inherentes pero no caracterizadas en el sistema que se está estudiando. Estas fuentes de no replicabilidad son una parte normal del proceso científico, debido a la variación o complejidad intrínseca de la naturaleza, el alcance del conocimiento científico actual, y los límites de las tecnologías actuales. En esos casos, la falta de replicación puede conducir al descubrimiento de nuevos fenómenos o nuevos conocimientos sobre la variabilidad en el sistema que se está estudiando.

En otros casos, el informe dice, la no replicabilidad se debe a deficiencias en el diseño, conducta, y comunicación de un estudio. Ya sea por falta de conocimiento, Incentivos perversos, descuido o sesgo, estas inútiles fuentes de no replicabilidad reducen la eficiencia del progreso científico.

Las fuentes inútiles de no replicabilidad se pueden minimizar a través de iniciativas y prácticas destinadas a mejorar el diseño y la metodología de la investigación a través de la capacitación y la tutoría. repetir experimentos antes de la publicación, revisión rigurosa por pares, utilizando herramientas para verificar análisis y resultados, y mayor transparencia en la presentación de informes. Los esfuerzos para minimizar las fuentes de no replicabilidad evitables e inútiles merecen una atención continua. dice el informe.

Los investigadores que utilizan a sabiendas prácticas de investigación cuestionables con la intención de engañar están cometiendo mala conducta o fraude. En la práctica, puede resultar difícil diferenciar entre errores honestos y faltas de conducta deliberadas. porque la acción subyacente puede ser la misma mientras que la intención no lo es. La mala conducta científica en forma de tergiversación y fraude es una preocupación constante para toda la ciencia, a pesar de que representa un porcentaje muy pequeño de artículos científicos publicados, el comité encontró.

Mejora de la reproducibilidad y la replicabilidad en la investigación

El informe recomienda una serie de pasos que las partes interesadas en la empresa de investigación deben tomar para mejorar la reproducibilidad y la replicabilidad. incluso:

• Todos los investigadores deben incluir un específico, y descripción completa de cómo se alcanzaron los resultados informados. Los informes deben incluir detalles apropiados para el tipo de investigación, como una descripción clara de todos los métodos, instrumentos materiales procedimientos mediciones, y otras variables involucradas en el estudio; una descripción clara del análisis de datos y decisiones para la exclusión de algunos datos o la inclusión de otros; y discusión de la incertidumbre de las mediciones, resultados e inferencias.
• Las agencias y organizaciones de financiamiento deben considerar invertir en investigación y desarrollo de código abierto, infraestructura y herramientas utilizables que respaldan la reproducibilidad para una amplia gama de estudios en diferentes dominios de manera transparente. Al mismo tiempo, Las inversiones serían útiles en la divulgación para informar y capacitar a los investigadores sobre las mejores prácticas y cómo utilizar estas herramientas.
• Las revistas deben considerar formas de garantizar la reproducibilidad computacional de las publicaciones que hacen afirmaciones basadas en cálculos, en la medida de lo posible ética y legalmente.
• La National Science Foundation debe tomar medidas para facilitar el intercambio transparente y la disponibilidad de artefactos digitales, como datos y código, para estudios financiados por la NSF, incluido el desarrollo de un conjunto de criterios para que la comunidad científica utilice repositorios abiertos confiables para los objetos del registro académico, y respaldar o considerar la creación de códigos y repositorios de datos para el archivo a largo plazo y la preservación de artefactos digitales que respalden las afirmaciones hechas en el registro académico basado en investigaciones financiadas por NSF, entre otras acciones.

Confianza en la ciencia

Replicabilidad y reproducibilidad, útiles como son para generar confianza en el conocimiento científico, no son las únicas formas de ganar confianza en los resultados científicos. Síntesis y metaanálisis de la investigación, por ejemplo, son métodos valiosos para evaluar la confiabilidad y validez de los cuerpos de investigación, dice el informe. Un objetivo de la ciencia es comprender el efecto general de un conjunto de estudios científicos, no para determinar estrictamente si un estudio ha replicado otro.

Entre otras recomendaciones relacionadas, el informe dice que las personas que toman decisiones personales o políticas basadas en evidencia científica deben tener cuidado de tomar una decisión seria basada en los resultados, no importa lo prometedor que sea, de un solo estudio. De la misma manera, no deben tomar una nueva, Un solo estudio contrario como refutación de conclusiones científicas respaldadas por múltiples líneas de evidencia previa.

El estudio, realizado por el Comité de Reproducibilidad y Replicabilidad en la Ciencia, fue patrocinado por la National Science Foundation y la Alfred P. Sloan Foundation. Las Academias Nacionales son privadas, instituciones sin fines de lucro que brindan servicios independientes, Análisis objetivo y asesoramiento a la nación para resolver problemas complejos e informar decisiones de política pública relacionadas con la ciencia. tecnología, y medicina. Operan bajo una carta del Congreso de 1863 a la Academia Nacional de Ciencias, firmado por el presidente Lincoln. Para más información, visite nationalacademies.org.