Según los últimos resultados de la investigación, la presencia de guiones simples en los títulos de artículos académicos afecta negativamente a las estadísticas de citas, independientemente de la calidad de los artículos. El fenómeno se aplica a todas las áreas temáticas principales. Por lo tanto, recuentos de citas y factores de impacto de la revista, comúnmente utilizado para evaluaciones de profesores en universidades de todo el mundo, son poco fiables.

Este hallazgo revolucionario plantea un desafío fundamental a la regla del juego a la hora de determinar las contribuciones de los artículos, revistas, y profesores. Se dio a conocer en un artículo titulado "Prueba de robustez metamórfica:exposición de defectos ocultos en estadísticas de citas y factores de impacto de revistas, "por Zhi Quan Zhou, T.H. Tse, y Matt Witheridge, publicado recientemente en Transacciones IEEE sobre ingeniería de software , la revista superior en el campo.

T.H. Tse es profesor honorario de informática en la Universidad de Hong Kong (HKU). Zhi Quan Zhou recibió un Ph.D. de HKU y actualmente es profesor asociado de ingeniería de software en la Universidad de Wollongong, Australia. Matt Witheridge es un Ph.D. estudiante de la Universidad de Wollongong.

Scopus y Web of Science son los dos principales sistemas de indexación de citas. Scopus proporciona las estadísticas de citas para respaldar las clasificaciones de universidades mundiales de Times Higher Education y las clasificaciones de universidades mundiales de QS. Web of Science proporciona el factor de impacto de la revista que respalda la clasificación de las principales revistas. Debido a la importancia de estos dos sistemas de indexación, es fundamental asegurar su calidad. En particular, Las pruebas de robustez se refieren a la verificación de la capacidad de los sistemas para hacer frente a entradas erróneas o situaciones inesperadas. Por ejemplo, ¿Puede el sistema de indexación manejar una cita correctamente si hay un error tipográfico menor al citar el título del artículo?

El profesor Tse y los miembros del equipo propusieron un método innovador llamado "prueba de robustez metamórfica" para verificar Scopus y Web of Science. El estudio en profundidad descubrió defectos de robustez en ambos sistemas que podrían producir recuentos de citas erróneos para artículos con guiones en los títulos. de modo que los factores de impacto de la revista que se calculan posteriormente son problemáticos.

En 2015, Letchford y sus colegas realizaron un estudio a gran escala sobre Scopus, y encontró que los artículos con títulos más cortos tendían a ser citados más que aquellos con títulos más largos.

De lo contrario, El profesor Tse y el equipo actual encuentran que en realidad es el número de guiones en el título lo que sirve como factor más dominante para el recuento de citas. Generalmente, el número de guiones se correlaciona con la longitud del título de un artículo, dando así la mala interpretación de que el recuento de citas depende de la longitud del título.

Las prácticas de citación varían según las áreas temáticas. Las publicaciones en ciertos campos pueden tener un recuento de citas sistemáticamente más alto que en otros campos. Por ejemplo, se puede argumentar que los artículos de química (donde los títulos de los artículos a menudo llevan guiones como parte de la nomenclatura química) solo reciben un número relativamente limitado de citas, dando lugar a una falsa correlación negativa entre guiones y citas. Por eso, el equipo llevó a cabo estudios centrados en revistas de áreas temáticas específicas. Los resultados indicaron que los guiones afectan negativamente el recuento de citas de los artículos, incluso si el estudio solo se limita a alguna disciplina en particular.

Para aprovechar los hallazgos a nivel de artículo y disciplina, el equipo investigó el impacto de los guiones en los títulos de los artículos a nivel de revistas. El factor de impacto de la revista (JIF) es una métrica común para determinar la frecuencia de citas de una revista académica. Se utiliza con frecuencia para representar la importancia relativa de una revista dentro de su campo. Un estudio de campo de la ingeniería de software revela que las revistas con una clasificación JIF más alta están publicando un porcentaje menor de artículos con títulos con guiones.

El equipo realizó además un análisis de la validez de la investigación para evitar caer en la trampa de equiparar la correlación con la causalidad.

"Nuestros resultados cuestionan la creencia común de la academia, gobiernos y los organismos de financiación que cuentan las citas son una medida fiable de las contribuciones y la importancia de los artículos. De hecho, pueden distorsionarse simplemente por la presencia de guiones en los títulos de los artículos, que no influye en la calidad de la investigación. Similar, Nuestros resultados también desafían la validez de los factores de impacto de las revistas, "dijo el profesor Tse.

"Estos sorprendentes resultados son de interés no solo para los profesores que buscan un puesto permanente o un ascenso, sino también a la alta dirección, como los presidentes, decanos y cabezas. Son aplicables a todas las facultades de cualquier universidad, "añadió.