Los Institutos Nacionales de Salud (NIH) invirtieron más de $ 27 mil millones en investigación biomédica a través de subvenciones competitivas durante su año fiscal 2017. Esas subvenciones se otorgaron en función de las puntuaciones asignadas por, y conversación entre, revisores expertos.

Este proceso de revisión por pares está diseñado para determinar las mejores propuestas para financiar y es una característica fundamental de la distribución de dólares para proyectos científicos con una cuidadosa deliberación.

Pero los nuevos hallazgos de los investigadores de la Universidad de Wisconsin-Madison sugieren que los revisores no pueden diferenciar las grandes propuestas de las simplemente buenas. En una simulación detallada del proceso de revisión por pares (los registros de revisiones reales no están disponibles para su estudio), los investigadores del Centro de Investigación de la Salud de la Mujer de UW-Madison y sus colaboradores descubrieron que no había acuerdo entre los diferentes revisores que calificaban las mismas propuestas.

El resultado es que después de eliminar las propuestas más débiles, las diferencias en cómo los revisores calificaron las propuestas hicieron imposible distinguir las restantes. El estudio fue financiado en parte por los NIH para analizar y mejorar cómo la agencia asigna miles de millones de dólares.

Los hallazgos aparecen en la edición del 5 de marzo de procedimientos de la Academia Nacional de Ciencias . La becaria postdoctoral Elizabeth Pier dirigió los análisis de los datos recopilados por un grupo multidisciplinario que incluía a Molly Carnes, directora del Centro de Investigación en Salud de la Mujer, Cecilia Ford, profesor emérito de Inglés y Sociología, colegas en psicología y psicología educativa en UW-Madison, y colaboradores de la Universidad de West Chester en Pensilvania.

"¿Cómo podemos mejorar la forma en que se revisan las subvenciones para que haya menos subjetividad en la financiación final de la ciencia?" es la pregunta en el corazón de este trabajo, dice Carnes. "Necesitamos más investigación en esta área y los NIH están invirtiendo dinero en la investigación de este proceso".

La revisión por pares comienza con expertos que analizan y califican por separado una serie de propuestas. Luego, los grupos de expertos se reúnen para discutir las propuestas y decidir colectivamente cuáles merecen financiamiento. Para estudiar este proceso, los investigadores reunieron a revisores expertos de los NIH y les pidieron que revisaran propuestas reales que habían sido financiadas por los NIH. Un lote había recibido financiación de inmediato:las excelentes propuestas. El otro lote finalmente recibió financiación después de ser revisado y se consideró como "buenas" propuestas.

Investigaciones publicadas anteriormente por el mismo grupo revelaron que las conversaciones que tienen lugar después de las puntuaciones iniciales no conducen a mejores decisiones de financiación. porque amplifican los desacuerdos entre diferentes grupos de revisores.

"La colaboración puede empeorar el acuerdo, no mejor, así que una pregunta que se deriva de eso sería:'¿Sería mejor que los revisores no se reunieran?' ", dice Pier, quien recibió su doctorado en psicología educativa en UW-Madison mientras completaba el trabajo.

Para abordar esa pregunta en el nuevo estudio, los investigadores se centraron en las críticas iniciales de los revisores e identificaron el número y el tipo de debilidades y fortalezas asignadas a cada propuesta, junto con la puntuación dada.

"Cuando observamos las fortalezas y debilidades que asignan a los solicitantes, lo que encontramos es que los revisores son internamente muy consistentes, ", dice Pier." Lo que nos sorprendió fue que, aunque la gente es internamente coherente, realmente no hay consistencia en cómo diferentes personas traducen el número de debilidades en una puntuación ".

De media, los investigadores calificaron las mismas propuestas de manera tan diferente que era como si estuvieran viendo propuestas completamente diferentes. Este marcado desacuerdo, y los efectos polarizadores de la conversación grupal que demostraron investigaciones anteriores, sugirió a los investigadores que el proceso actual de revisión por pares no está diseñado para discriminar entre buenas y grandes propuestas.

"No estamos tratando de sugerir que la revisión por pares sea defectuosa, pero que podría haber espacio para ser innovadores para mejorar el proceso, "dice Pier.

Una mejora potencial sugerida por el equipo de investigación es crear una lotería modificada. En este sistema, una revisión inicial eliminaría las propuestas más débiles, y los restantes se financiarían aleatoriamente. Los NIH también están investigando formas de mejorar la objetividad y el éxito de la revisión por pares.

Los investigadores enfatizan que, con miles de millones de dólares en juego, Se necesita investigación adicional sobre este sistema vital de financiamiento y cualquier mejora potencial al proceso.

"Me enorgullece ser científico, que no solo financiamos la investigación de las células a la sociedad, pero que estamos continuamente tratando de mejorar el proceso mediante el cual otorgamos estos dólares, "dice Carnes.