Aproximadamente un año después de que fue nombrada para un puesto editorial senior en una revista académica, La investigadora de psicología, la profesora Simine Vazire, fue amonestada por molestar a los investigadores eminentes al "rechazar de escritorio" sus trabajos.

Ella se sorprendió.

El rechazo de escritorio se produce cuando el editor rechaza un artículo antes de enviarlo a los revisores; alrededor del 30 por ciento de los artículos de esta revista generalmente fueron rechazados de escritorio.

La profesora Vazire estaba rechazando los documentos porque creía que tenían serios defectos. Pero al comité que la nombró le preocupaba que, al disgustar a los investigadores famosos, la reputación de la revista podría estar en riesgo.

"Les señalé que no podían ejercer esta influencia entre bastidores sin anunciar una nueva política o tener alguna base científica para ello, ", dice el profesor Vazire." Pero el hecho de que estuvieran tan sorprendidos por mi resistencia me hizo darme cuenta de lo mucho que funcionaban las cosas ".

La experiencia del profesor Vazire es parte de un problema de investigación más amplio y de larga duración, donde grandes estudios han encontrado que en muchas disciplinas cantidades significativas de investigación publicada no se pueden validar con estudios de seguimiento, es decir, los hallazgos no se pueden replicar, poniendo los resultados en duda.

Esto ha puesto el foco en las falibilidades de las revistas, las evaluaciones de revisión por pares en las que confían, y el mundo hipercompetitivo de la academia, donde los investigadores son a menudo juzgados en su totalidad por cuánto están publicando y en qué revistas "de buena reputación".

Significa que los investigadores y sus instituciones pueden verse tentados a exagerar los resultados.

"Como editor, He tenido discusiones con autores en los que les he dicho que solo aceptaré su artículo si está enmarcado con más cautela y, en un par de ocasiones, los autores simplemente se han negado y se han ido y publicado en otros lugares, "dice el profesor Vazire.

Retractaciones recientes de revistas médicas de gran reputación La lanceta y el Revista de Medicina de Nueva Inglaterra con respecto a la investigación sobre posibles medicamentos COVID-19 que se basaron en datos defectuosos, sólo ha destacado la urgencia del problema.

Las iniciativas de ciencia abierta, como compartir datos y establecer un plan de investigación antes de realizar la investigación (registro previo), buscan abordar estos problemas.

Y junto con estos desarrollos, También ha surgido una nueva disciplina de investigación:la metaciencia.

"La metaciencia es un campo que estudia las normas, prácticas e incentivos en ciencia. Hace balance de nuevas iniciativas de ciencia abierta, y monitorea y evalúa sus impactos.

"Roza la filosofía y la sociología de la ciencia, pero trabaja al servicio de la ciencia buscando asegurar que la investigación sea más sólida, "dice la profesora Fiona Fidler, un experto en reproducibilidad en la Universidad de Melbourne.

Juntos, El profesor Fidler y el profesor Vazire han establecido un nuevo grupo de investigación en la Universidad, MetaMelb. Es el grupo de investigación en metaciencia más grande de Australia.

El grupo estudiará una serie de cuestiones de metaciencia, en varias disciplinas, incluida la psicología, ecología y medicina, utilizando una amplia gama de enfoques cuantitativos y cualitativos.

Una de esas preguntas es si los incentivos para compartir datos, como otorgar insignias de datos abiertos, dar lugar a resultados más reproducibles. Otro proyecto analiza cómo exponer las fallas de la ciencia puede estar afectando la visión del público de, y confiar en Ciencias.

Los temores de que la credibilidad de la ciencia esté en juego se han utilizado en el pasado como una justificación para no ser francos sobre los problemas.

Pero, ¿La ciencia, al ser más abierta y transparente, realmente socava la fe pública en la ciencia o realmente aumenta esa fe?

"He estado en salas donde el consenso ha sido que deberíamos barrer los problemas bajo la alfombra debido al riesgo de hacer que la gente se oponga a la ciencia, pero sospecho que, con mucho, el mayor riesgo es no ser sincero con el público, "dice el profesor Vazire.

Otro gran proyecto ya en marcha, financiado por la Agencia de Proyectos de Investigación Avanzada de Defensa del gobierno de EE. UU. (DARPA), es un esfuerzo por reunir de manera eficiente la revisión por pares de expertos de un grupo de expertos.

El proyecto RepliCATS (Collaborative Assessment for Trustworthy Science) ha reclutado a 500 expertos en todo el mundo para predecir la replicabilidad de 3000 artículos de investigación de las ciencias sociales en pequeños equipos que trabajan de forma colaborativa en línea.

DARPA ha ampliado recientemente el proyecto para evaluar urgentemente 100 artículos relacionados con la investigación en ciencias sociales de COVID-19.

Otra iniciativa más de MetaMelb es el desarrollo de pautas concretas que los revisores pares podrían utilizar para evaluar de manera más uniforme los métodos de investigación y los hallazgos. proporcionando una especie de lista de verificación.

Esto incluiría alentar a los revisores pares a evaluar si la investigación está redactada en lo que el profesor Vazire llama una forma "intelectualmente humilde". Si, en cambio, un periódico muestra arrogancia intelectual, Eso sería una señal inmediata para que los revisores pares sean cautelosos, ella dice.

"La humildad intelectual se trata de garantizar que le das a las personas que critican tu trabajo toda la munición que necesitan para encontrar cualquier defecto en tu trabajo, "dice el profesor Vazire.

"Significa que en su introducción escrita, por ejemplo, un investigador no debería simplemente seleccionar la información según el lado del debate en el que se encuentre o, que en su sección de métodos y resultados, de manera similar, no solo mencionan los resultados que mejor se adaptan a su argumento ".

La lista de verificación también señalará a los revisores para evaluar específicamente ciertos aspectos de la investigación, como si el tamaño de la muestra justifica las conclusiones o si los métodos de investigación son rigurosos.

"Los revisores pares son conocidos por no estar de acuerdo, pero quizás si se les hacen preguntas específicas, logremos un mayor acuerdo sobre la solidez de una investigación". "dice el profesor Vazire.

Pero para que iniciativas como estas funcionen, deben establecerse incentivos para recompensar a los revisores pares, revistas e investigadores para ser más transparentes.

Una idea es hacer que las revisiones por pares sean más públicas, reconociendo la contribución del revisor.

"La cuestión de crear los incentivos adecuados es un área de investigación importante para nosotros, "dice el profesor Fidler.

Por último, ambos creen que se pueden implementar los incentivos y las prácticas adecuadas para hacer que la ciencia sea más transparente y sólida. Pero la clave será cambiar las culturas académicas e institucionales y los sistemas de recompensa que están contribuyendo al problema.

"Uno de los mayores problemas que tenemos en este momento es la forma en que las instituciones juzgan el desempeño y la promoción internamente, "dice el profesor Fidler.

En el Reino Unido, Los esfuerzos para garantizar una investigación sólida han llevado a la creación de la Red Reproducible del Reino Unido, un consorcio que hasta ahora ha atraído a 15 universidades y colegios.

El profesor Fidler está trabajando con colegas para establecer un consorcio similar en Australia.

Para el profesor Vazire, Será crucial que los investigadores y las instituciones estén preparados para adoptar nuevas prácticas y una mayor transparencia.

"Ciertamente, las cosas están cambiando:se comparten más investigaciones antes de la revisión y publicación por pares, lo que brinda la oportunidad de un escrutinio más amplio. Y, honestamente, Las plataformas de redes sociales como Twitter se están volviendo cada vez más importantes para examinar los documentos e identificar las fortalezas y las fallas.

"Estoy seguro de que habrá opciones para mejorar las cosas, pero necesitamos que la comunidad de investigadores se una y realmente aproveche estas nuevas oportunidades ".