Lorena Barba, profesor asociado de ingeniería mecánica y aeroespacial en la Escuela de Ingeniería y Ciencias Aplicadas, presentó recientemente un informe encomendado por el Congreso a los legisladores y expertos federales que guiará la política nacional futura sobre investigación en ciencia e ingeniería.

El Dr. Barba es miembro del comité de estudio de Reproducibilidad y Replicabilidad en Ciencias de las Academias Nacionales de Ciencias, Ingeniería y Medicina (NASEM), que se formó en 2017. El comité celebró una serie de reuniones informativas previas a la publicación de su informe el 7 de mayo con la Oficina de Política Científica y Tecnológica de la Casa Blanca, la National Science Foundation (NSF) y otras partes interesadas.

El comité tuvo como objetivo identificar cualquier problema de replicación y reproducibilidad en la investigación científica y de ingeniería. El informe hizo recomendaciones para mejorar el rigor y la transparencia en la investigación científica y de ingeniería, e identificadas y destacadas buenas prácticas.

GW Today habló recientemente con el Dr. Barba sobre el informe:

P:¿Por qué cree que es importante tener un comité que estudie los problemas relacionados con la replicación y reproducibilidad de la investigación?

R:El estudio fue encargado por la National Science Foundation, en respuesta al mandato del Congreso. La Ley Pública 114-329 cita "la creciente preocupación de que algunos hallazgos de investigación publicados no se puedan reproducir o replicar ..." y ordena a la NSF que produzca un informe con una evaluación y recomendaciones al respecto. No sé qué motivó esta directiva legal, pero sé que durante los últimos años, varios informes de los medios de comunicación han publicado importantes fallos en la reproducción de los resultados. Al mismo tiempo, un movimiento por la ciencia abierta y la reproducibilidad ha ido creciendo en todos los campos de investigación. Por lo tanto, era oportuno hacer un estudio en profundidad que abarcara toda la ciencia.

P:¿Cómo se involucró con este comité?

R:Fui nominado por miembros anónimos de la comunidad científica, como autoridad reconocida en reproducibilidad. Las Academias Nacionales me contactaron sobre el comité de estudio en septiembre de 2017, y después de una entrevista telefónica y enviar información adicional sobre mi trabajo, Me invitaron formalmente en noviembre de 2017. Hemos trabajado en este estudio durante casi un año y medio.

P:¿Cuáles son los principales hallazgos del informe?

R:El hallazgo general se puede resumir en cuatro palabras:sin crisis, sin complacencia. El mensaje es doble:la narrativa de la crisis que se ha desarrollado en los últimos años es principalmente retórica:la reproducibilidad y la replicabilidad son parte de las formas en que la ciencia se autocorrige, pero no son la única preocupación. Por otra parte, se necesitan mejoras:más transparencia de los flujos de trabajo computacionales, código y datos, por ejemplo, y ajustar la estructura de incentivos para valorar la investigación reproducible. Otros hallazgos incluyen la necesidad de una mayor fluidez con las estadísticas, y formación de investigadores de carrera temprana en herramientas y métodos computacionales.

P:¿Por qué el comité buscó definir qué significan los términos replicación y reproducibilidad?

R:La falta de un uso estándar de estos términos dificulta el progreso, ya que a menudo no está claro qué quieren decir los investigadores y, por lo tanto, cómo abordar las preocupaciones. Tanto la reproducibilidad como la replicabilidad son palabras que se utilizan en relación con las preocupaciones generales de un investigador o un estudio que confirma los hallazgos de un estudio previamente publicado. A veces, las palabras se utilizan como un término general para todas las preocupaciones relacionadas. Pero algunos campos han hecho una distinción entre los dos términos, y es importante estar de acuerdo en cuál es esa distinción para hacer avanzar la conversación. El estudio define la reproducibilidad como la obtención de resultados computacionales consistentes utilizando los mismos datos de entrada, pasos computacionales, métodos, código y condiciones de análisis. Un estudio de replicación, por otra parte, recopila nuevos datos y realiza nuevos análisis con el fin de confirmar los hallazgos de un estudio anterior.

P:¿Qué deberían aprender de este informe los estudiantes interesados ​​en realizar investigaciones en el futuro?

R:El informe enfatiza el importante y omnipresente papel de la informática en la ciencia moderna, y la necesidad de mejorar la formación en métodos estadísticos. Los estudiantes interesados ​​en la investigación obtendrían una ventaja al buscar capacitación en habilidades computacionales, incluidas herramientas de código abierto, desarrollo de software, gestión de datos y cómo automatizar tareas repetitivas. Llevar a cabo una investigación de forma reproducible se vuelve menos desafiante si utiliza las herramientas adecuadas.

P:Ahora que se publica el informe, ¿Qué tipo de trabajo adicional cree que se debe realizar en relación con estos temas?

R:El informe hace una serie de recomendaciones que implicarán un trabajo continuo, por diversas personas e instituciones. La educación y la formación tanto en estadística como en métodos computacionales necesita algún refuerzo. Las revistas y las sociedades profesionales deben trabajar en iniciativas para promover la reproducibilidad computacional y la publicación de réplicas. El informe también recomienda que las agencias de financiamiento incorporen reproducibilidad y replicabilidad en sus criterios de revisión de méritos para nuevas propuestas.