Una nueva investigación de la Universidad Queen Mary de Londres sugiere que cuando se trata de evaluaciones de investigación a gran escala como el Research Excellence Framework (REF), las revisiones por pares serían más rentables si se dirigieran a publicaciones que no aparecen en revistas destacadas.

La investigación revela que las revisiones por pares y el análisis bibliométrico deben verse como modos complementarios de evaluación. Los investigadores sugieren que dirigir las revisiones por pares a las publicaciones cuya calidad no puede clasificarse sin ambigüedades mediante el análisis bibliométrico sería más eficaz para evaluar los estándares de investigación en las universidades del Reino Unido y un mejor uso del dinero público.

Evaluación de la investigación

Los investigadores utilizaron el ejercicio REF de 2014 del Reino Unido para estudiar los atributos de las publicaciones de máxima puntuación (cuatro estrellas) en Economía y Econometría. Aunque los documentos oficiales contienen puntajes agregados para cada institución, los investigadores muestran cómo se pueden utilizar estos agregados para inferir la puntuación otorgada por los panelistas de REF a cada publicación.

Los hallazgos demuestran que este puntaje responde al prestigio de la revista según lo medido por el Puntaje de Influencia del Artículo de Thomson Reuters. Aunque el uso de esta métrica en particular está justificado por sus atractivas propiedades, y por investigaciones previas, Los investigadores también utilizan diferentes medidas del impacto de las revistas, como el factor de impacto.

Varios análisis econométricos confirman la contribución limitada de otros atributos de publicación, como citas, a la puntuación otorgada por los panelistas de la REF, y que las publicaciones en las principales revistas generalistas y las cinco principales revistas económicas reciben sin ambigüedades cuatro estrellas.

Implicaciones para una evaluación futura

Los resultados tienen importantes implicaciones para el diseño de futuras evaluaciones de investigación, además de informar la discusión sobre la ronda 2021 de REF que está en marcha. El uso de la bibliometría en la evaluación de la investigación se ha debatido intensamente, y la regulación REF se basa en revisiones de expertos que reflejan preocupaciones por el uso responsable de métricas.

Los resultados muestran que al menos en Economía y Econometría, un índice de impacto de la revista se aproxima con precisión al juicio de los expertos, especialmente para los productos publicados en revistas destacadas.

Dr. Marco Ovidi, de la Escuela de Economía y Finanzas de Queen Mary, quién fue el coautor del estudio, dice que su "investigación revela que, en Economía y Econometría, la clasificación de los resultados de la investigación REF 2014 realizada por expertos está muy cerca de la clasificación que se obtendría utilizando un indicador bibliométrico del impacto de la revista ".

"Las diferencias son particularmente pequeñas para los resultados de investigación publicados en revistas económicas de alto impacto. Nuestros resultados sugieren que el costoso proceso de las revisiones por pares debe centrarse en encontrar gemas ocultas en revistas con una reputación relativamente menor en lugar de resultados sobrevalorados en los medios de mayor puntuación. "

"Creemos que nuestros hallazgos deberían ser de interés para los departamentos académicos y los responsables de las políticas de investigación como las próximas evaluaciones de investigación, la REF 2021, está en marcha."