A principios de este año, El médico y microbiólogo francés Didier Raoult generó un alboroto en los medios por su controvertida promoción de la hidroxicloroquina para tratar el COVID-19. El investigador ha señalado durante mucho tiempo su creciente lista de publicaciones y el elevado número de citas como una indicación de su contribución a la ciencia. todo resumido en su "índice h".

La controversia sobre su investigación reciente presenta una oportunidad para examinar las debilidades del índice h, una métrica que tiene como objetivo cuantificar la productividad y el impacto de un investigador, utilizado por muchas organizaciones para evaluar a los investigadores para promociones o financiación de proyectos de investigación.

Inventado en 2005 por el físico estadounidense John Hirsch, el índice de Hirsch o el índice h, es un referente imprescindible para muchos investigadores y directivos del mundo académico. Se promueve y utiliza particularmente en las ciencias biomédicas, un campo donde el gran número de publicaciones hace casi imposible cualquier evaluación cualitativa seria del trabajo de los investigadores. Este supuesto indicador de calidad se ha convertido en un espejo frente al cual los investigadores se admiran a sí mismos o se burlan del lamentable índice h de sus colegas y rivales.

Aunque los expertos en bibliometría, una rama de las ciencias bibliotecarias y de la información que utiliza métodos estadísticos para analizar publicaciones, han señalado rápidamente la naturaleza dudosa de este indicador compuesto, la mayoría de los investigadores no siempre parecen entender que sus propiedades lo convierten en un índice poco válido para evaluar seria y éticamente la calidad o el impacto científico de las publicaciones.

Los promotores del índice h cometen un error elemental de lógica. Afirman que debido a que los ganadores del Premio Nobel generalmente tienen un índice h alto, la medida es un indicador válido de la calidad individual de los investigadores. Sin embargo, si un índice h alto se puede asociar con un premio Nobel, esto de ninguna manera prueba que un índice h bajo esté necesariamente asociado con un investigador de mala reputación.

En efecto, un índice h aparentemente bajo puede ocultar un alto impacto científico, al menos si se acepta que la unidad de medida habitual para la visibilidad científica se refleja en el número de citas recibidas.

Límites del índice h

Definido como el número de artículos norte por un autor que cada uno ha recibido al menos norte citas, el índice h está limitado por el número total de artículos publicados. Por ejemplo, si una persona tiene 20 artículos que se citan 100 veces cada uno, su índice h es 20, como una persona que también tiene 20 artículos, pero cada uno se citó solo 20 veces. Pero ningún investigador serio diría que los dos son iguales porque su índice h es el mismo.

Lo más irónico en la historia del índice h es que su inventor quería contrarrestar la afirmación de que la cantidad de artículos publicados representaba el impacto de un investigador. Entonces, incluyó el número de citas que recibieron los artículos.

Pero resulta que el índice h de un autor está fuertemente correlacionado (hasta aproximadamente 0,9) con su número total de publicaciones. En otras palabras, es el número de publicaciones lo que impulsa el índice más que el número de citas, un indicador que sigue siendo la mejor medida de la visibilidad de las publicaciones científicas.

Todo esto es bien conocido por los expertos en bibliometría, pero quizás menos a los investigadores, gerentes y periodistas que se dejan impresionar por los científicos que exhiben su índice h.

Raoult contra Einstein

En una investigación reciente sobre las actividades de investigación de Raoult realizada por el periódico francés Médiapart , un investigador que había sido miembro del comité de evaluación del laboratorio de Raoult dijo:"Lo que le llamó la atención fue la obsesión de Didier Raoult con sus publicaciones. Unos minutos antes de que comenzara la evaluación de su unidad, lo primero que le mostró en su computadora fue su índice h ". Raoult también había dicho en Le Point revista en 2015 que "era necesario contar el número y el impacto de las publicaciones de los investigadores para evaluar la calidad de su trabajo".

Así que echemos un vistazo al índice h de Raoult y veamos cómo se compara con, decir, la de un investigador que es considerado el mayor científico del siglo pasado:Albert Einstein.

En la base de datos de Web of Science, Raoult tiene 2, 053 artículos publicados entre 1979 y 2018, habiendo recibido un total de 72, 847 citas. Su índice h calculado a partir de estos dos números es 120. Sabemos, sin embargo, que el valor de este índice se puede inflar artificialmente mediante las autocitas del autor, cuando un autor cita sus propios artículos anteriores. La base de datos indica que entre el total de citas atribuidas a los artículos en coautoría de Raoult, 18, 145 proceden de artículos de los que es coautor. Estas autocitas ascienden a un total del 25 por ciento. Restando estos, El índice h de Raoult cae un 13 por ciento a un valor de 104.

Ahora, examinemos el caso de Einstein, que tiene 147 artículos enumerados en la base de datos de Web of Science entre 1901 y 1955, el año de su muerte. Por sus 147 artículos, Einstein ha recibido 1, 564 citas durante su vida. De este número total de citas, solo 27, o un escaso 1,7 por ciento, son autocitas. Ahora, si sumamos las citas hechas a sus artículos después de su muerte, Einstein ha recibido un total de 28, 404 citas entre 1901 y 2019, lo que le otorga un índice h de 56.

Si tenemos que confiar en la medida denominada "objetiva" proporcionada por el índice h, entonces nos vemos obligados a concluir que el trabajo de Raoult tiene el doble de impacto científico que el de Einstein, el padre del fotón, relatividades restringidas y generales, la condensación de Bose-Einstein y del fenómeno de la emisión estimulada en el origen de los láseres.

O tal vez es más simple (y mejor) concluir, como ya se sugirió, que este indicador es falso?

Cabe señalar la diferencia significativa en el número total de citas recibidas por cada uno de estos investigadores durante sus carreras. Obviamente, han estado activos en momentos muy diferentes, y el tamaño de las comunidades científicas, y, por tanto, el número de posibles autores que citan, han crecido considerablemente durante el último medio siglo.

También deben tenerse en cuenta las diferencias disciplinarias y los patrones de colaboración. Por ejemplo, la física teórica tiene muchos menos contribuyentes que la microbiología, y el número de coautores por artículo es menor, que afecta la medida de la productividad y el impacto de los investigadores.

Finalmente, Es importante señalar que la afirmación:"El índice h de la persona P es X, " no tiene sentido, porque el valor del índice depende del contenido de la base de datos utilizada para su cálculo. Más bien se debería decir:"El índice h de la persona P es X, en la base de datos Z. "Por lo tanto, según la base de datos de Web of Science, que solo contiene revistas consideradas serias y bastante visibles en el campo científico, el índice h de Raoult es 120. Por otro lado, en la base de datos gratuita y, por lo tanto, de fácil acceso de Google Scholar, su índice h, el que se repite con más frecuencia en los medios, sube a 179.

Fetichismo numérico

Muchas comunidades científicas adoran el índice h y este fetichismo puede tener consecuencias nocivas para la investigación científica. Francia, por ejemplo, utiliza un Système d'interrogation, de gestion et d'analyse des publications scientifiques para otorgar fondos de investigación a sus laboratorios de ciencias biomédicas. Se basa en el número de artículos que publican en las llamadas revistas de alto factor de impacto. Según lo informado por el periódico Le Parisien , el ritmo frenético de las publicaciones de Raoult permite que su institución de origen gane entre 3, 600 y 14, 400 euros anuales por cada artículo publicado por su equipo.

El sentido común debería enseñarnos a desconfiar de los indicadores simplistas y unidimensionales. La desaceleración del ritmo enloquecedor de las publicaciones científicas indudablemente llevaría a los investigadores a perder interés en el índice h. Más importante, abandonarlo contribuiría a producir artículos científicos que serían menos numerosos, pero ciertamente más robusto.

Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.