Las revistas académicas se basan en la revisión por pares para ayudar a los editores a tomar decisiones sobre qué publicar. Crédito:de www.shutterstock.com
Las palabras "publicado en una revista revisada por pares" a veces se consideran el estándar de oro en la ciencia. Pero cualquier científico profesional le dirá que el hecho de que un artículo haya sido sometido a una revisión por pares dista mucho de ser una garantía de calidad férrea.
Para saber que ciencia deberías De Verdad Confíe en que necesita sopesar los indicadores sutiles que los científicos consideran.
Reputación de la revista
La posición de la revista en la que se publica un artículo es lo primero.
Para cada campo científico, revistas amplias (como Nature, Ciencia y Actas de la Academia Nacional de Ciencias ) y muchas más revistas especializadas (como la Revista de química biológica ) están disponibles. Pero es importante reconocer que existen jerarquías.
Algunas revistas se consideran más prestigiosas, o francamente, mejor que otros. El "factor de impacto" (que refleja la cantidad de citas que atraen los artículos de la revista) es simple, si es una medida controvertida, de la importancia de una revista.
En la práctica, cada investigador lleva en su cabeza una lista mental de las principales revistas relevantes. Al elegir dónde publicar, cada científico hace su propio juicio sobre cuán interesantes y confiables son sus nuevos resultados.
Si los autores apuntan demasiado alto con su revista de destino, entonces el editor probablemente rechazará el artículo de inmediato sobre la base del "interés" (incluso antes de considerar la calidad científica).
Si un autor apunta demasiado bajo, entonces podrían estar vendiéndose cortos; esto podría representar una oportunidad perdida para un artículo de trofeo en una revista importante que todos reconocerían como importante (aunque solo sea por el lugar donde se publicó).
Los investigadores a veces hablan de su trabajo en una carta de presentación al editor, y apuntar a una revista de un rango por encima de donde esperan que eventualmente termine el manuscrito. Si su trabajo es aceptado, están contentos. Que no, se vuelven a enviar a un rango inferior, o en el eufemismo estándar, una "revista más especializada". Esto desperdicia tiempo y esfuerzo, pero es la realidad de la vida en la ciencia.
Ni a los editores ni a los autores les gusta equivocarse. Están sopesando la presión de publicar una historia con un gran titular contra el miedo a cometer un error. Un error en este contexto significa publicar un resultado que rápidamente se ve envuelto en controversias.
Para protegerse contra eso, El editor designa a tres o cuatro revisores pares (expertos con experiencia en el campo) para ayudar.
El proceso de revisión por pares
Al momento de enviar un trabajo, los autores pueden sugerir revisores que crean que están debidamente calificados. Pero el editor tomará la decisión final, basado en su comprensión del campo y también en qué tan bien y con qué rapidez los revisores responden a la tarea.
La identidad de los revisores pares generalmente se mantiene en secreto para que puedan comentar libremente (pero a veces esto significa que son bastante duros). Los revisores pares repetirán el trabajo del editor, y asesorar sobre si el artículo es de suficiente interés para la revista. En tono rimbombante, también evaluarán la solidez de la ciencia y si las conclusiones están respaldadas por la evidencia.
Este es el paso crítico de la "revisión por pares". En la práctica, aunque, el nivel de escrutinio permanece vinculado a la posición de la revista. Si el trabajo está siendo considerado para una de las mejores revistas, el escrutinio será intenso. Las principales revistas rara vez aceptan artículos a menos que los consideren no solo interesantes, sino también herméticos y a prueba de balas, es decir, creen que el resultado es algo que resistirá la prueba del tiempo.
Si, por otra parte, el trabajo se va a convertir en una revista de poca lectura con un factor de impacto bajo, entonces, a veces, los revisores serán más indulgentes. Todavía esperarán rigor científico, pero es probable que acepten algunos datos como no concluyentes, siempre que los investigadores señalen las limitaciones de su trabajo.
Sabiendo que así es como va el proceso, cada vez que un investigador lee un artículo, toma nota mental de dónde se publicó el trabajo.
Factor de impacto de la revista
La mayoría de las revistas son confiables. Pero al final de la lista en términos de impacto se encuentran dos tipos de revistas:
Los científicos profesionales distinguirán entre los dos basándose en parte en la editorial, e incluso el nombre de la revista.
los Biblioteca Pública de Ciencias (PLOS) es un editor de renombre, y ofrece PLOS ONE para ciencia sólida, incluso si solo puede atraer a una audiencia limitada.
Springer Nature ha lanzado una revista similar llamada Informes científicos . Otras revistas de buena calidad con factores de impacto más bajos incluyen revistas de sociedades académicas especializadas en países con poblaciones más pequeñas; nunca llegarán a una gran audiencia, pero el trabajo puede ser sólido como una roca.
Las revistas depredadoras, por otro lado, suelen ser de gran escala, publicados por editores en línea que gestionan muchos títulos, ya veces tienen la palabra "internacional" en el título. Buscan cosechar una gran cantidad de papeles para maximizar las ganancias. Entonces nombres como el Revista internacional de ciencia debe tratarse con precaución, mientras que el Revista de la Sociedad Australiana de Abejas bien puede ser confiable (nota, Inventé estos nombres solo para ilustrar el punto).
El valor de una revista frente a un solo artículo
Los factores de impacto se han vuelto controvertidos porque se han utilizado en exceso como un indicador de la calidad de artículos individuales. Sin embargo, aplicados estrictamente reflejan solo el interés que atrae una revista, y puede depender de unos pocos artículos que "se vuelven virales" en términos de acumulación de citas.
Adicionalmente, mientras que los artículos en revistas de mayor impacto pueden haber sido objeto de un mayor escrutinio, hay más presión sobre los editores y los autores de estas importantes revistas. Esto significa que se pueden tomar atajos con más frecuencia, el último, Es posible que nunca se realice un experimento de control crucial, y las revistas acaban siendo menos fiables de lo que implica su reputación. Esta desconexión a veces genera francotiradores sobre cómo ciertas revistas no son tan buenas como dicen ser, lo que en realidad mantiene a todos alerta.
Si bien todas las controversias en torno a los factores de impacto son reales, todos los investigadores conocen y piensan en ellos u otros sistemas de clasificación de revistas (SNP - Source Normalized Impact per Paper, SJR - Ranking de revistas científicas, y otros) cuando eligen en qué revista publicar, qué papeles leer, y en qué papeles confiar.
Nada es perfecto
Incluso si todo se hace correctamente, la revisión por pares no es infalible. Si los autores falsifican sus datos de forma muy inteligente, por ejemplo, entonces puede ser difícil de detectar.
Falsificar datos deliberadamente es, sin embargo, relativamente raro. No porque los científicos sean santos, sino porque es una tontería falsificar datos. Si los resultados son importantes, otros intentarán reproducirlos rápidamente y aprovecharlos. Si se publica un resultado falso en una de las principales revistas, es casi seguro que se descubra. Esto sucede de vez en cuando, y siempre es un escándalo.
Los errores y el descuido son mucho más comunes. Esto puede estar relacionado con la creciente urgencia, presión para publicar y predominio de equipos grandes donde nadie puede entender toda la ciencia. De nuevo, sin embargo, solo los errores intrascendentes sobrevivirán; los errores más importantes se detectarán rápidamente.
¿Puedes confiar en el edificio que es la ciencia moderna?
Generalmente, uno puede tener una idea de la probabilidad de que una pieza de ciencia revisada por pares sea sólida. Esto se logra confiando en la combinación del orgullo y la reputación de los autores, y de los editores de revistas, y de los revisores pares.
Así que confío en la combinación del sistema de revisión por pares y el hecho inherente de que la ciencia se basa en fundamentos anteriores. Si esos son inestables, las grietas aparecerán rápidamente y las cosas se arreglarán.
También me alientan las nuevas oportunidades para sistemas aún mejores y más rápidos que están surgiendo como resultado de los avances en la tecnología de la información. Estos incluyen modelos para la revisión por pares posterior a la publicación (en lugar de antes de la publicación). Quizás esto cree una forma de formalizar las discusiones que de otro modo ocurrirían en Twitter, y eso puede generar dudas sobre la validez de los resultados publicados.
La revista eLife está poniendo patas arriba la revisión por pares. Ofrece publicar todo lo que considere de suficiente interés, y luego permitir que los autores elijan responder o no a los puntos que surgen en la revisión por pares después de la aceptación del manuscrito. Los autores pueden incluso optar por abstenerse de seguir adelante si piensan que los puntos de los compañeros que comentan exponen el trabajo como defectuoso.
ELife también tiene un sistema en el que los revisores se reúnen y brindan una única revisión moderada, a la que se añaden sus nombres y que se publica. Esto evita el problema del anonimato permitiendo un trato demasiado duro.
Considerándolo todo, debemos estar seguros de que la ciencia importante es sólida (y la ciencia periférica no está validada) debido a la revisión por pares, transparencia, escrutinio y reproducción de resultados en publicaciones científicas. Sin embargo, en algunos campos donde la reproducción es rara o imposible (estudios a largo plazo que dependen de datos estadísticos complejos) es probable que continúe el debate científico.
Pero incluso en estos campos, el escrutinio interminable de otros investigadores, junto con la reputación orgullosamente custodiada de autores y revistas, significa que incluso si nunca será perfecto, el método científico sigue siendo más fiable que todos los demás.
Este artículo se publicó originalmente en The Conversation. Lea el artículo original. 
