Un equipo de científicos dirigido por un astrónomo de la Universidad Estatal de Michigan descubrió que un nuevo proceso de evaluación de proyectos de investigación científica propuestos es tan efectivo, si no más, que el método tradicional de revisión por pares.

Normalmente, cuando un investigador presenta una propuesta, Luego, la agencia de financiación solicita a varios investigadores en ese campo en particular que evalúen y hagan recomendaciones de financiación. Un sistema que a veces puede ser un poco voluminoso y lento; no es una ciencia del todo exacta.

"Como en todos los esfuerzos humanos, este tiene sus defectos, "dijo Wolfgang Kerzendorf, un profesor asistente en los departamentos de Física y Astronomía de MSU, y Matemática Computacional, Ciencia e Ingenieria.

Detallado en la publicación Astronomía de la naturaleza , Kerzendorf y sus colegas probaron un nuevo sistema que distribuye la carga de trabajo de revisar las propuestas de proyectos entre los proponentes, conocido como el enfoque de "revisión por pares distribuida".

Sin embargo, el equipo lo mejoró mediante el uso de otras dos características novedosas:el uso del aprendizaje automático para vincular a los revisores con las propuestas y la inclusión de un mecanismo de retroalimentación en la revisión.

Esencialmente, este proceso consta de tres características diferentes diseñadas para mejorar el proceso de revisión por pares.

Primero, cuando un científico presenta una propuesta para evaluación, primero se le pide que revise varios de los artículos de sus competidores, una forma de reducir la cantidad de artículos que se le pide que revise.

"Si reduce la cantidad de reseñas que debe hacer cada persona, pueden dedicar un poco más de tiempo a cada una de las propuestas, "Dijo Kerzendorf.

Segundo, Mediante el uso de computadoras (aprendizaje automático), las agencias de financiamiento pueden hacer coincidir al revisor con propuestas de campos en los que son expertos. Este proceso puede eliminar el sesgo humano de la ecuación, resultando en una revisión más precisa.

"Básicamente, miramos los artículos que los lectores potenciales han escrito y luego les damos a estas personas propuestas que probablemente sean buenos juzgando, ", Dijo Kerzendorf." En lugar de que un revisor autoinforme su experiencia, la computadora hace el trabajo ".

Y tercero, el equipo introdujo un sistema de retroalimentación en el que la persona que presentó la propuesta puede juzgar si la retroalimentación que recibió fue útil. Por último, esto podría ayudar a la comunidad a recompensar a los científicos que constantemente brindan críticas constructivas.

"Esta parte del proceso no carece de importancia, "Dijo Kerzendorf." Un buen, la revisión constructiva es una ventaja, una recompensa por el trabajo que dedicó al revisar otras propuestas ".

Para hacer el experimento, Kerzendorf y su equipo consideraron 172 propuestas presentadas en las que cada uno solicitaba el uso de los telescopios en el Observatorio Europeo Austral. un observatorio terrestre de 16 naciones en Alemania.

Las propuestas se revisaron tanto de la manera tradicional como mediante la revisión por pares distribuida. ¿Los resultados? Desde un punto de vista estadístico, era aparentemente indistinguible

Sin embargo, Kerzendorf dijo que este era un experimento novedoso que probaba un nuevo enfoque para evaluar la investigación de revisión por pares, uno que podría marcar la diferencia en el mundo científico.

"Si bien pensamos de manera muy crítica sobre la ciencia, a veces no nos tomamos el tiempo para pensar críticamente sobre cómo mejorar el proceso de asignación de recursos en ciencia, ", dijo." Este es un intento de hacer esto ".