Los investigadores de la Universidad Estatal de Utah están creando herramientas en línea para ayudar a que los estudios de hidrología sean más reproducibles. Crédito:Matt Jensen
En seis prestigiosas revistas de hidrología y recursos hídricos publicadas en 2017, el porcentaje estimado de estudios cuyos resultados pudieron reproducirse en su totalidad fue sólo entre el 0,06 y el 6,8 por ciento. Este bajo nivel de reproducibilidad no es infrecuente en los estudios de hidrología, un hecho que muchos científicos reconocen fácilmente. Sin embargo, es posible que un equipo de investigadores de la Universidad Estatal de Utah haya encontrado una solución para hacer que estos estudios sean más reproducibles.
En su papel "Evaluar la disponibilidad de datos y la reproducibilidad de la investigación en hidrología y recursos hídricos, "publicado el 26 de febrero en Nature's Datos científicos , Los coautores de David Rosenberg desarrollaron una herramienta de encuesta en línea para evaluar la reproducibilidad de la investigación publicada. El equipo revisó 360 artículos de seis revistas sobre recursos hídricos publicados en 2017. De 360 artículos, solo pudieron reproducir completamente los resultados de cuatro artículos.
"Nuestra herramienta de encuestas desglosa el concepto de reproducibilidad científica en componentes específicos de disponibilidad de datos, reproducibilidad de los resultados y replicabilidad de los hallazgos, "dijo Rosenberg, profesor asociado de ingeniería civil y ambiental en la USU. "Luego sugerimos cómo los autores, revistas, los donantes y las instituciones pueden utilizar la herramienta de encuestas para aumentar las bajas tasas de reproducibilidad ".
Los autores dicen que la reproducibilidad se puede dividir en tres componentes:
La herramienta de encuesta en línea del equipo consta de 15 preguntas y proporciona una lista de verificación de los elementos esenciales necesarios para la disponibilidad de artefactos y la reproducibilidad de los resultados. Artefactos es un término general para todos los datos, software, modelos código, instrucciones y otros materiales necesarios para reproducir los resultados dentro de un estudio.
El equipo descubrió que alrededor del 70 por ciento de los artículos muestreados indicaron que algunos materiales estaban disponibles, pero solo alrededor del 48 por ciento de los materiales se podía acceder en línea. Solo alrededor del seis por ciento de los artículos muestreados pusieron los artefactos a disposición del público, y sólo el uno por ciento de los artículos muestreados pusieron a disposición artefactos y pudieron reproducirse por completo.
Los autores dijeron que a muchos artículos les faltaban direcciones para generar resultados. Si los autores dan instrucciones, ellos dicen, el número de artículos cuya reproducibilidad podría probarse se duplicaría. Los artículos que hicieron que todos los artefactos estuvieran disponibles tenían una probabilidad de seis en 10 de que se reprodujeran algunos o todos sus resultados. Dos revistas encuestadas por el equipo requerían artículos para indicar cómo se puede acceder a los artefactos, y cuatro revistas alentaron declaraciones. Ninguna revista requería que los autores pusieran a disposición todos los artefactos.
La herramienta de encuesta puede ayudar a reconocer y alentar a los autores a lograr ciertos niveles de reproducibilidad. Por ejemplo, Los autores pueden utilizar la herramienta de la encuesta para autoevaluar la reproducibilidad de sus resultados. Rosenberg y su equipo también recomiendan un sistema de medallas para reconocer diferentes niveles de reproducibilidad:
Rosenberg recomienda que los íconos de medallas se publiquen junto a los artículos en línea para reconocer a los autores por su trabajo de reproducibilidad y facilitar que los lectores encuentren las mejores prácticas de reproducibilidad. Rosenberg y su equipo asignaron cuatro medallas de plata y seis de bronce de los 360 artículos que revisaron. La concesión de medallas de oro por la replicabilidad de los hallazgos sigue siendo una importante línea de trabajo futuro.
"Esperamos que la herramienta de encuestas ayude a impulsar a los autores, revistas, financiadores e instituciones para hacer que el trabajo científico sea más reproducible, ", dijo Rosenberg." Damos la bienvenida a la discusión para mejorar la herramienta de encuesta y para mejorar la reproducibilidad de nuestra ciencia ".
