El recuento promedio anual de citas por año para los estudios que no se replicaron (según el valor p de la replicación) en cada estudio de replicación, y para los que fueron replicados. El área en gris claro muestra el (los) año (s) en que se publicaron los estudios originales, y la línea oscura muestra el año en el que se publicó el estudio de replicación. Crédito:UC San Diego
Artículos de psicología líder, Las revistas económicas y científicas que no se replican y, por lo tanto, es menos probable que sean ciertas, suelen ser los artículos más citados en la investigación académica. según un nuevo estudio de la Escuela de Administración Rady de la Universidad de California en San Diego.
Publicado en Avances de la ciencia , el artículo explora la actual "crisis de replicación" en la que los investigadores han descubierto que muchos hallazgos en los campos de las ciencias sociales y la medicina no se sostienen cuando otros investigadores intentan repetir los experimentos.
El artículo revela que los hallazgos de estudios que no se pueden verificar cuando se repiten los experimentos tienen una mayor influencia a lo largo del tiempo. La investigación poco confiable tiende a ser citada como si los resultados fueran verdaderos mucho después de que la publicación no pudo replicarse.
"También sabemos que los expertos pueden predecir bien qué artículos se replicarán, "escriben las autoras Marta Serra-García, profesor asistente de economía y estrategia en la Escuela Rady y Uri Gneezy, profesor de economía del comportamiento también en la Escuela Rady. "Dada esta predicción, preguntamos '¿por qué se aceptan artículos no replicables para su publicación en primer lugar?' "
Su posible respuesta es que los equipos de revisión de revistas académicas enfrentan una compensación. Cuando los resultados son más "interesantes, "aplican estándares más bajos en cuanto a su reproducibilidad.
El vínculo entre los hallazgos interesantes y la investigación no replicable también puede explicar por qué se cita a una tasa mucho más alta:los autores encontraron que los artículos que se replican con éxito se citan 153 veces menos que los que fallaron.
"Los medios de comunicación cubren más los hallazgos interesantes o atractivos o se comparten en plataformas como Twitter, generando mucha atención, pero eso no las hace verdaderas, "Dijo Gneezy.
Serra-García y Gneezy analizaron datos de tres proyectos de replicación influyentes que intentaron replicar sistemáticamente los hallazgos en la psicología superior, revistas de ciencias económicas y generales ( Naturaleza y Ciencias ). En psicología, sólo el 39 por ciento de los 100 experimentos se replicaron con éxito. En economía, El 61 por ciento de los 18 estudios se replicaron al igual que el 62 por ciento de los 21 estudios publicados en Naturaleza / Ciencias .
Con los hallazgos de estos tres proyectos de replicación, los autores utilizaron Google Scholar para probar si los artículos que no se replicaron se citan con mucha más frecuencia que los que se replicaron con éxito, tanto antes como después de la publicación de los proyectos de replicación. La brecha más grande estaba en los artículos publicados en Naturaleza / Ciencias :los artículos no replicables fueron citados 300 veces más que los replicables.
Cuando los autores tomaron en cuenta varias características de los estudios replicados, como el número de autores, la tasa de autores masculinos, los detalles del experimento (ubicación, idioma e implementación en línea) y el campo en el que se publicó el artículo; la relación entre la replicabilidad y las citas se mantuvo sin cambios.
También muestran que el impacto de tales citas crece con el tiempo. Los recuentos de citas anuales revelan una brecha pronunciada entre los artículos que se replicaron y los que no. De media, los artículos que no pudieron reproducirse se citan 16 veces más por año. Esta brecha permanece incluso después de que se publique el proyecto de replicación.
"Notablemente, solo el 12 por ciento de las citas posteriores a la replicación de hallazgos no replicables reconocen el error de replicación, "escriben los autores.
La influencia de un artículo inexacto publicado en una revista de prestigio puede tener repercusiones durante décadas. Por ejemplo, el estudio que Andrew Wakefield publicó en La lanceta en 1998 convirtió a decenas de miles de padres en todo el mundo contra el sarampión, vacuna contra las paperas y la rubéola debido a un vínculo implícito entre las vacunas y el autismo. Los hallazgos incorrectos fueron retractados por The Lancet 12 años después, pero continúan las afirmaciones de que el autismo está relacionado con las vacunas.
Los autores agregaron que las revistas pueden sentirse presionadas a publicar hallazgos interesantes, y también los académicos. Por ejemplo, en decisiones de promoción, la mayoría de las instituciones académicas utilizan las citas como una métrica importante en la decisión de promover a un miembro de la facultad.
Esta puede ser la fuente de la "crisis de replicación, "descubrió por primera vez a principios de la década de 2010.
"Esperamos que nuestra investigación anime a los lectores a ser cautelosos si leen algo interesante y atractivo, ", Dijo Serra-García." Siempre que los investigadores citan un trabajo que es más interesante o se ha citado mucho, esperamos que verifiquen si hay datos de replicación disponibles y qué sugieren esos hallazgos ".
Gneezy agregado, "Nos preocupamos por el campo y la producción de investigación de calidad y queremos que sea verdad".