Los investigadores están acostumbrados a ser evaluados en base a índices como los factores de impacto de las revistas científicas en las que publican artículos y su número de citas. Un equipo de 14 científicos naturales de nueve países se está rebelando contra esta práctica, argumentando que el uso obsesivo de índices está dañando la calidad de la ciencia.

"Nuestro mensaje es bastante claro:los académicos deben dejar de preocuparse demasiado por los índices. deberíamos trabajar más en la beca y la calidad de la investigación, "dice el profesor Colin Chapman del Departamento de Antropología de la Universidad George Washington en Washington.

"La dependencia exagerada de los índices está desviando la atención de la calidad de la ciencia. El sistema funciona bien para investigadores experimentados como Colin Chapman y yo, pero los investigadores más jóvenes y sus carreras están sufriendo debido a la forma en que se utilizan los índices en la actualidad, ", añade el profesor Nils Chr. Stenseth de la Universidad de Oslo.

Los índices no miden la calidad

Chapman y Stenseth son dos de los autores detrás de un artículo que llama la atención en la revista científica. Actas de la Royal Society B , sobre los "juegos que juegan los académicos" y las consecuencias para el futuro de la academia. Uno de los problemas con los índices es que la gente puede jugar con ellos para mejorar sus puntuaciones, según el nuevo documento.

La base de la rebelión es que la investigación es una profesión altamente competitiva donde la evaluación juega un papel central. Cuando un equipo de investigadores (los investigadores no suelen trabajar solos en estos días) ha hecho un nuevo descubrimiento, escriben un artículo académico detallado sobre el método y los resultados. El siguiente paso es enviar el artículo a una revista científica, que puede aceptar o rechazar el papel.

Los editores de la revista suelen enviar el artículo a un pequeño grupo de expertos científicos independientes. Según sus reseñas, los editores deciden si el trabajo debe ser aceptado o rechazado. Los revisores y los editores también pueden sugerir revisiones antes de que se acepte el artículo.

Cuando finalmente se publique el artículo científico, otros investigadores en campos relacionados pueden comenzar a citar el artículo en sus propios trabajos. Un gran número de citas se percibe a menudo como una medida de la calidad científica.

El proceso no está bien

Visto desde el exterior, este proceso parece estar bien. Pero durante los últimos 10 o 15 años, el proceso ha comenzado a desmoronarse. La calidad de la ciencia se ha vuelto menos importante, según Chapman, Stenseth, y sus coautores. En lugar de, la atención general se centra demasiado en un pequeño conjunto de índices fáciles de medir:factores de impacto e índices h individuales, además del número de citas.

Hay muchas revistas científicas por ahí, y algunos de ellos son tan prestigiosos que sus nombres son conocidos por el público en general. Las revistas Naturaleza , Ciencias , y La lanceta se encuentran entre los más famosos. Si un joven científico de las ciencias naturales o médicas puede publicar un artículo en una de estas revistas, su carrera puede recibir un gran impulso.

Las revistas más prestigiosas también tienen factores de alto impacto, que se definen como el número medio de citas por artículo publicado durante los dos años anteriores. El índice h de un investigador individual considera los artículos mejor citados del investigador y el número de citas que ha recibido.

"Las puntuaciones de estos índices tienen grandes consecuencias. Por ejemplo, en algunos países y disciplinas, la publicación en revistas con factores de impacto inferiores a 5.0 se considera oficialmente que no tiene valor, " de acuerdo con la Actas de la Royal Society papel. Los autores también señalan que no es raro escuchar que los únicos artículos que cuentan son los de revistas con un factor de impacto que está por encima de un valor arbitrario. O peor, que publicar en revistas de nivel inferior debilita los CV.

Incluso un defecto puede crear citas

Un problema general es que los índices se pueden manipular de maneras que los hacen casi inútiles como medida del logro científico o de la calidad. El profesor Stenseth formó parte de un comité de evaluación del Consejo Europeo de Investigación hace unos diez años, y todavía está asombrado por la experiencia.

"Hablamos sobre el uso de índices y pronto nos dividimos en dos grupos. En ese momento, Tuviste que hacer mucho trabajo manual para calcular el número de citas. Aquellos de nosotros que no consideramos la cantidad de citas como muy importante y en su lugar leímos los artículos reales, "cuenta el profesor Stenseth.

Eso se convirtió en un momento decisivo para Stenseth, porque los investigadores escépticos de las citas pronto descubrieron que algunos de los artículos más citados eran comentarios. Un comentario no suele contener nuevos descubrimientos, por supuesto.

"¡Pero lo peor fue que descubrimos que algunos artículos fueron muy citados porque tenían una falla! Muchos artículos identificaron el error en el artículo, ¡pero aún figuraba como una cita! Esa es una de las razones por las que insisto en que un gran número de citas no es prueba de una excelente calidad científica. "agrega Stenseth.

Profesor Chapman en Washington, hablando con el profesor Stenseth en Oslo a través de Skype, confirma que ha tenido experiencias similares.

"Así es como funciona el sistema. Observaciones como esa pueden parecer casi divertidas, pero también son terribles. Y triste, "Comenta Chapman.

Índices como medidas sustitutas

Los autores de la nueva Actas de la Royal Society Los periódicos no están solos en sus críticas. La Declaración de San Francisco sobre Evaluación de la Investigación (DORA) se originó en una reunión de la Sociedad Estadounidense de Biología Celular en 2012, y recomienda que los factores de impacto de las revistas no se utilicen como medida sustitutiva de un artículo de investigación individual, para evaluar la contribución de un científico individual, ni en la contratación, decisiones de promoción o financiación. Unos 15, 000 individuos y 1, 550 organizaciones en todo el mundo han firmado esta petición, pero el cambio aún está por llegar.

"Aunque existe una gran cantidad de literatura que critica estos índices y su uso, todavía se utilizan ampliamente de manera importante y determinante para la carrera. Esto tiene que parar "dice Colin Chapman.

La ciencia es primordial

Colin Chapman y Nils Chr. Stenseth enfatiza que la ciencia y la erudición son primordiales en una sociedad moderna.

"Es por eso que nos metimos en este negocio; para descubrir cosas nuevas. Pero lo que está sucediendo en su lugar, es que seguimos siendo aplastados por el sistema. El sistema dice que no deberíamos preocuparnos por mejorar nuestra ciencia, en cambio, deberíamos preocuparnos por aumentar nuestros índices. Eso no es un incentivo para crear ciencia excelente, "Insiste Chapman.

El documento contiene una lista de los posibles juegos que los académicos pueden jugar, y pueden tener que jugar, para mejorar sus índices.

"Uno de los juegos más comunes es escribir un artículo con una larga lista de autores, como una especie de favor. La idea es que puedas estar en mi papel incluso si no hiciste una contribución real, así que tal vez pueda estar en tu artículo a continuación. Me rascas la espalda y yo rascaré el tuyo, "Explica Chapman.

Otro juego es que los investigadores pueden acordar citarse unos a otros:"Puedo citar su artículo si usted cita el mío". Los editores incluso han organizado "cárteles de citas" en los que se recomienda a los autores que citen artículos de otras revistas del cártel.

"Envié un artículo a una revista de ecología aplicada hace algunos años. El artículo fue aceptado, y el editor nos dijo que deberíamos citar cuatro o cinco artículos más, todo de ese diario. Eso, por supuesto, aumenta el factor de impacto de las revistas, porque aumenta las citas de artículos en esa revista. Este ha sido el caso de muchas revistas y ahora se considera una mala práctica, "Stenseth explica.

Colin Chapman y Nils Chr. Stenseth ha recibido bastantes reacciones de apoyo a su artículo.

"Uno de mis colegas escribió un blog, criticarnos por escribir algo que podría ser desalentador para los jóvenes científicos. Pero lo que realmente estábamos tratando de hacer era concienciar a los jóvenes investigadores del hecho de que se trata de un sistema defectuoso que debería corregirse, "Contadores Chapman.

"Mi opinión es que los índices, y la forma en que se utilizan, aparta la atención de la ciencia. En algunos campos pequeños, que por necesidad tendrá un índice muy bajo, es casi imposible obtener citas muy altas incluso si la investigación es excelente e importante, "Dice Stenseth.

"En lugar de, la atención se centra en dónde se publicó su artículo, cuántas citas generó, y el factor de impacto de la revista, " él añade.

Los autores también tienen sugerencias sobre cómo mejorar el sistema.

"La respuesta corta es que los académicos deben dejar de mirar índices y volver a leer los artículos, ", Dice Chapman. Pero los académicos no pueden hacer eso solos, si los consejos de investigación y otras agencias de financiación continúan utilizando los índices como base para las decisiones sobre financiación. Una forma sencilla de mejorar el sistema es que los consejos de investigación no deben preguntar a los investigadores sobre el número de citas cuando envían una propuesta de investigación.

"Nos gustaría ver cambios en los sistemas de incentivos, premiando la investigación de calidad y garantizando la transparencia. El personal docente superior debe establecer los estándares éticos, prácticas de tutoría y criterios de evaluación institucional para crear los cambios necesarios, "Chapman y Stenseth insisten.

"Esperamos iniciar un debate que dé forma al futuro de la academia y lo mueva en una dirección más positiva. Los científicos representan algunas de las mentes más creativas que pueden abordar las necesidades de la sociedad. Ahora es el momento de forjar el futuro que queremos," "concluyen los 14 investigadores que escribieron el artículo en el Actas de la Royal Society .