¿Pueden las empresas confiar en los resultados de uno o dos estudios científicos para diseñar un nuevo proceso industrial o lanzar un nuevo producto? En al menos un área de la química de materiales, la respuesta puede ser sí, pero solo el 80 por ciento de las veces.

La replicabilidad de los resultados de los estudios científicos se ha convertido en una de las principales preocupaciones de la comunidad investigadora. particularmente en las ciencias sociales y las ciencias biomédicas. Pero muchos investigadores en los campos de la ingeniería y las ciencias duras no han sentido el mismo nivel de preocupación por la validación independiente de sus resultados.

Un nuevo estudio que comparó los resultados informados en miles de artículos publicados sobre las propiedades de los materiales de estructura orgánica metal (MOF), que son candidatos destacados para la adsorción de dióxido de carbono y otras separaciones, sugiere que el problema de la replicabilidad debería ser una preocupación para los investigadores de materiales. también.

Uno de cada cinco estudios de materiales MOF examinados por investigadores del Instituto de Tecnología de Georgia se consideró "valores atípicos, "con resultados mucho más allá de las barras de error que normalmente se utilizan para evaluar los resultados de los estudios. Los miles de artículos de investigación arrojaron solo nueve compuestos MOF para los cuales cuatro o más estudios independientes permitieron una comparación adecuada de los resultados.

"A un nivel fundamental, Creo que las personas en química de materiales sienten que las cosas son reproducibles y que pueden contar con los resultados de un solo estudio, "dijo David Sholl, profesor y presidente de la escuela John F. Brock III en la Escuela de Ingeniería Química y Biomolecular de Georgia Tech. "Pero lo que descubrimos es que si saca cualquier experimento al azar, hay una probabilidad de uno en cinco de que los resultados sean completamente incorrectos, no solo un poco desviados, pero ni siquiera cerca ".

Si los resultados se pueden aplicar de manera más amplia a otras áreas de la ciencia de los materiales, se esperan estudios adicionales, Dijo Sholl. Los resultados del estudio, que fue apoyado por el Departamento de Energía de EE. UU., fueron publicados el 28 de noviembre en la revista ACS Química de Materiales .

Sholl eligió los MOF porque son un área de interés para su laboratorio (desarrolla modelos para los materiales) y porque el Instituto Nacional de Estándares y Tecnología (NIST) y la Agencia de Proyectos de Investigación Avanzada-Energía (ARPA-E) ya se habían reunido una base de datos que resume las propiedades de los MOF. Los coautores Jongwoo Park y Joshua Howe utilizaron técnicas de metanálisis para comparar los resultados de las pruebas de isoterma de adsorción de un solo componente:cuánto CO2 se puede eliminar a temperatura ambiente.

Esa medición es sencilla y existen instrumentos comerciales disponibles para realizar las pruebas. "La gente de la comunidad consideraría que este es un experimento casi infalible, "dijo Sholl, quien también es un académico eminente de Georgia Research Alliance en sostenibilidad energética.

Los investigadores consideraron que los resultados eran definitivos cuando tenían cuatro o más estudios de un MOF dado en condiciones comparables.

Las implicaciones de los errores en la ciencia de los materiales pueden ser menores que en otros campos de investigación. Pero las empresas podrían utilizar los resultados de uno o dos estudios para elegir un material que parezca más eficiente. y en otros casos, los investigadores que no pueden replicar un experimento pueden simplemente pasar a otro material.

"El resultado neto es un uso no óptimo de los recursos como mínimo, ", Dijo Sholl." Y cualquier informe que utilice un experimento para concluir que un material es un 15 o 20 por ciento mejor que otro material debe verse con gran escepticismo. ya que no podemos ser muy precisos en estas medidas en la mayoría de los casos ".

¿Por qué la variabilidad en los resultados? Algunos MOF pueden ser meticulosos, absorbiendo rápidamente la humedad que afecta la adsorción, por ejemplo. Los "valores atípicos" de uno de cada cinco pueden ser el resultado de la contaminación de los materiales.

"Uno de los materiales que estudiamos es relativamente sencillo de fabricar, pero es inestable en una atmósfera ambiental, "Explicó Sholl." Exactamente lo que haga entre prepararlo en el laboratorio y probarlo afectará las propiedades que mida. Eso podría explicar algo de lo que vimos, y si un material es tan sensible, sabemos que será un problema en el uso práctico ".

Otros factores que pueden evitar la replicación incluyen detalles que se omitieron inadvertidamente en la descripción de un método, o que los científicos originales no se dieron cuenta de que eran relevantes. Eso podría ser tan simple como la atmósfera precisa en la que se mantiene el material, o los materiales utilizados en el aparato que produce los MOF.

Sholl espera que el artículo dé lugar a una mayor reproducción de los experimentos para que los científicos e ingenieros puedan saber si sus resultados son realmente significativos.

"Como resultado de esto, Creo que mi grupo analizará todos los datos reportados de una manera más matizada, no necesariamente sospechando que está mal, pero pensando en la confiabilidad de esos datos, ", dijo." En lugar de pensar en los datos como un número, siempre debemos pensar en ello como un número más un rango ".

Sholl sugiere que más informes de segundo, Un tercer o cuarto esfuerzo para replicar un experimento ayudaría a aumentar la confianza de los datos sobre las propiedades de los materiales MOF. Actualmente, el sistema de publicación científica no ofrece muchos incentivos para la validación de informes, aunque Sholl espera que eso cambie.

También siente que el tema debe discutirse en todas las partes de la comunidad científica, aunque admite que eso puede llevar a conversaciones "incómodas".

"Hemos presentado este estudio varias veces en conferencias, y la gente puede ponerse bastante a la defensiva al respecto, ", Dijo Sholl." Todos en el campo conocen a todos los demás, por lo que siempre es más fácil no mencionar este problema ".

Y, por supuesto, A Sholl le gustaría que otros reprodujeran el trabajo que hicieron él y su equipo de investigación. "Será interesante ver si este número de uno en cinco se mantiene para otros tipos de experimentos y materiales, "Ciertamente, hay otras áreas de la química de materiales en las que se podría hacer este tipo de comparación", agregó.