Resultados de recogida u ocultación de cerezas, excluir datos para alcanzar umbrales estadísticos y presentar hallazgos inesperados como si fueran predichos desde el principio:estas son solo algunas de las "prácticas de investigación cuestionables" implicadas en la crisis de replicación que la psicología y la medicina han enfrentado durante la última media década.

Recientemente, encuestamos a más de 800 ecólogos y biólogos evolutivos y encontramos altas tasas de muchas de estas prácticas. Creemos que esta es la primera documentación de estos comportamientos en estos campos de la ciencia.

Nuestros resultados previos a la impresión tienen cierto valor de impacto, y su lanzamiento atrajo mucha atención en las redes sociales.

• 64% de los investigadores encuestados informaron que habían al menos una vez no informó los resultados porque no eran estadísticamente significativos (selección de cerebros)
• El 42% había recopilado más datos después de inspeccionar si los resultados eran estadísticamente significativos (una forma de "pirateo informático").
• El 51% informó un hallazgo inesperado como si hubiera sido una hipótesis desde el principio (conocido como "HARKing, "o hipótesis después de que se conocen los resultados).

Aunque estos resultados son muy similares a los que se han encontrado en psicología, Las reacciones sugieren que son sorprendentes, al menos para algunos investigadores de la ecología y la evolución.

los autores informan que, en general, el uso de prácticas de investigación cuestionables en Ecología y Evolución está tan extendido como en Psicología.
Todos hemos estado viendo Psych retorciendo nuestras manos sobre los pobres queridos, pero TAMBIÉN ESTAMOS EN PROBLEMAS

- Andrew MacDonald (@polesasunder) 21 de marzo de 2018

Hay muchas posibles interpretaciones de nuestros resultados. Esperamos que también haya muchos conceptos erróneos sobre ellos y extrapolaciones injustificadas. Hablamos de algunos de estos a continuación.

¡Es un fraude!

No es un fraude. El fraude científico implica la fabricación de datos y conlleva fuertes sanciones penales. Las prácticas de investigación cuestionables en las que nos enfocamos son, por definición, cuestionables:se ubican en un área gris entre las prácticas aceptables y la mala conducta científica.

Hicimos una pregunta sobre la fabricación de datos y la respuesta ofreció más evidencia de que es muy raro, coherente con los hallazgos de otros campos.

Los científicos carecen de integridad y no debemos confiar en ellos

Hay algunas razones por las que este no debería ser el mensaje principal de nuestro periódico.

Primero, Las reacciones a nuestros resultados hasta ahora sugieren un compromiso, comunidad científica madura, dispuesto a reconocer y abordar estos problemas.

Lamentablemente, esto no me sorprende:cuando me "entrenaron", muchas de estas prácticas cuestionables eran la norma. Necesitamos comenzar a capacitar a los estudiantes antes, pero también asegurarnos de que los encargados de las subvenciones y las publicaciones también estén informados sobre estos temas. ¡Disfruta tu cafe!

- Matthew Grainger (@Ed_pheasant) 21 de marzo de 2018

Si algo, este tipo de participación debería aumentar nuestra confianza en estos científicos y su compromiso con la integridad de la investigación.

Segundo, los resultados nos dicen mucho más sobre incentivos estructurados e instituciones que sobre las personas y su integridad personal.

Por ejemplo, estos resultados nos hablan de la institución de la publicación científica, donde los negativos (resultados no estadísticamente significativos) son prácticamente eliminados de la mayoría de las revistas en la mayoría de los campos de la ciencia, y donde los estudios de replicación prácticamente nunca se publican debido al enfoque incesante en la novela, resultados "innovadores".

Los resultados de la encuesta nos informan sobre la financiación científica, de nuevo donde "novela" (que significa positivo, significativos) los hallazgos se valoran más que cuidadosos, procedimientos cautelosos y replicación. También nos hablan de universidades, sobre las prácticas de contratación y promoción dentro de la ciencia académica que se enfocan en métricas de publicación y sobrevaloran la cantidad a expensas de la calidad.

Entonces, ¿qué quieren decir? estas prácticas de investigación cuestionables admitidas por los científicos en nuestra encuesta? Creemos que se entienden mejor como el resultado inevitable del sesgo de publicación, protocolos de financiación y una presión cada vez mayor para publicar.

No podemos basar decisiones importantes en evidencia científica actual

Existe el riesgo de que nuestros resultados alimenten la opinión de que nuestra ciencia no está preparada para las políticas. En muchas áreas, como la salud y el medio ambiente, esto podría ser muy perjudicial, incluso desastroso.

Una razón por la que no está justificada es que la ciencia del clima es una ciencia basada en modelos, y ha habido muchas réplicas independientes de estos modelos. Lo mismo ocurre con los ensayos de inmunización.

Sabemos que cualquier crítica a la práctica científica corre un riesgo en el contexto del sentimiento anticientífico, pero esa crítica es fundamental para el éxito de la ciencia.

Permanecer abierto a las críticas es el mecanismo de autocorrección más poderoso de la ciencia, y, en última instancia, qué hace que la base de la evidencia científica sea confiable.

Los científicos son humanos y necesitamos salvaguardias

Esta es una interpretación que apoyamos incondicionalmente. Los científicos son humanos y están sujetos al mismo conjunto de sesgos cognitivos, como el sesgo de confirmación, que el resto de nosotros.

A medida que aprendemos más sobre los sesgos cognitivos y la mejor manera de mitigarlos en diferentes circunstancias, necesitamos retroalimentar esto en las normas de la práctica científica.

Lo mismo ocurre con nuestro conocimiento sobre cómo funcionan las personas bajo diferentes estructuras y condiciones de incentivos. Ésta es la base de muchas de las iniciativas diseñadas para hacer que la ciencia sea más abierta y transparente.

El movimiento de ciencia abierta trata sobre el desarrollo de iniciativas para protegerse contra la influencia del sesgo cognitivo, y alterar las estructuras de incentivos para que la investigación que utiliza estas prácticas de investigación cuestionables deje de ser recompensada.

Algunas de estas iniciativas han sido adoptadas con entusiasmo por muchos científicos y editores de revistas. Por ejemplo, muchas revistas ahora publican código de análisis y datos junto con sus artículos, y muchos se han adherido a las pautas de Promoción de la transparencia y la apertura (TOP).

Otras iniciativas también ofrecen una gran promesa. Por ejemplo, Algunas revistas ofrecen ahora formatos de informes registrados, principalmente en psicología y campos médicos. En un informe registrado, los artículos se revisan sobre la base de su premisa y enfoque subyacentes, antes de que se recopilen los datos. Esto elimina la tentación de seleccionar solo resultados positivos o de aplicar diferentes estándares de rigor a los resultados negativos. En breve, frustra el sesgo de publicación.

Esperamos que al llamar la atención sobre la prevalencia de prácticas de investigación cuestionables, nuestra investigación fomentará el apoyo de estas iniciativas, y lo más importante, Alentar a las instituciones a apoyar a los investigadores en sus propios esfuerzos para alinear su práctica con sus valores científicos.

Este artículo se publicó originalmente en The Conversation. Lea el artículo original.