Si hay un principio central que une a todas las ciencias, es probable que los científicos deban abordar el descubrimiento sin prejuicios y con una buena dosis de escepticismo. La idea es que la mejor manera de llegar a la verdad es permitir que los hechos conduzcan a donde quieran, incluso si no es el lugar al que pretendías ir.

Pero es más fácil decirlo que hacerlo. Los seres humanos tienen prejuicios inconscientes que son difíciles de eliminar, ya la mayoría de la gente no le gusta equivocarse. En los últimos años, Los científicos han descubierto pruebas preocupantes de que esos sesgos pueden estar afectando la integridad del proceso de investigación en muchos campos.

La evidencia también sugiere que incluso cuando los científicos operan con las mejores intenciones, Los errores graves son más comunes de lo esperado porque incluso las diferencias sutiles en la forma en que se lleva a cabo un procedimiento experimental pueden desviar los hallazgos.

Cuando los sesgos y los errores se filtran en la investigación, otros científicos que intentan el mismo experimento pueden encontrar que no pueden replicar los hallazgos del investigador original. Esto ha dado nombre al problema más amplio:la crisis de la replicación.

Colin Camerer, Profesor Robert Kirby de Economía del Comportamiento de Caltech y Cátedra de Liderazgo del Centro T&C Chen para Neurociencia Social y de Decisiones, director ejecutivo de Ciencias Sociales y director del T&C Chen Center for Social and Decision Neuroscience, ha estado a la vanguardia de la investigación sobre la crisis de la replicación. Ha escrito varios estudios sobre el tema y es un ferviente defensor de la reforma. Hablamos con Camerer sobre la gravedad del problema y qué se puede hacer para corregirlo; y el movimiento de "ciencia abierta", que fomenta el intercambio de datos, información, y materiales entre investigadores.

¿Qué es exactamente la crisis de replicación?

Lo que instigó todo esto es el descubrimiento de que muchos hallazgos, originalmente en medicina pero luego en áreas de psicología, en economía, y probablemente en todos los campos, simplemente no se replique ni se reproduzca tan bien como esperaríamos. Por reproducir, Me refiero a tomar los datos que alguien recopiló para un estudio y hacer el mismo análisis solo para ver si obtiene los mismos resultados. La gente puede tener diferencias sustanciales, por ejemplo, si utilizan estadísticas más recientes que las disponibles para los investigadores originales.

Los primeros estudios sobre reproducibilidad también encontraron que a veces es difícil incluso lograr que las personas compartan sus datos de manera oportuna y clara. Había una norma de que compartir datos es una especie de bonificación, pero no es una parte absolutamente necesaria del trabajo de un científico.

¿Qué tan grande es este problema?

Diría que es lo suficientemente grande como para ser muy preocupante. Daré un ejemplo de la psicología social, que ha sido una de las áreas más problemáticas. En psicología social, hay una idea llamada cebado, lo que significa que si te hago pensar en una cosa subconscientemente, esos pensamientos pueden activar asociaciones relacionadas y cambiar su comportamiento de alguna manera sorprendente.

John Bargh realizó muchos estudios sobre cebado, quien es un psicólogo muy conocido en Yale. Bargh y sus colegas hicieron que los jóvenes pensaran en ser mayores y luego los hicieron sentarse en una mesa y hacer una prueba. Pero la prueba fue solo un relleno porque los investigadores no estaban interesados ​​en los resultados de la prueba. Les interesaba saber cómo el hecho de pensar en la vejez afectaba el comportamiento de los jóvenes. Cuando los jóvenes terminaron con la prueba de relleno, el equipo de investigación midió el tiempo que les llevó levantarse de la mesa y caminar hasta un ascensor. Descubrieron que las personas que estaban preparadas para pensar en ser mayores caminaban más lentamente que el grupo de control que no había recibido esa preparación.

Intentaban obtener un resultado dramático que mostrara que las asociaciones mentales sobre las personas mayores afectan el comportamiento físico. El problema fue que cuando otros intentaron replicar el estudio, los hallazgos originales no se replicaron muy bien. En una réplica, sucedió algo aún peor. A algunos de los asistentes en ese experimento se les dijo que la preparación haría que los sujetos jóvenes caminaran más lento, ya otros se les dijo que el cebado los haría caminar más rápido; esto es lo que llamamos un efecto de reactancia o bumerán. Y lo que se les dijo a los asistentes que esperaran influyó en sus mediciones de qué tan rápido caminaban los sujetos, a pesar de que estaban cronometrando con cronómetros. Las medidas del cronómetro de los asistentes estaban sesgadas en comparación con un temporizador automático. Menciono este ejemplo porque es el tipo de estudio que consideramos demasiado lindo para ser verdad. Cuando salió el error de replicar, Hubo un gran alboroto sobre cuánta habilidad necesita un experimentador para hacer una réplica adecuada.

Recientemente, exploró este tema en un par de artículos. ¿Que encontraste?

En nuestro primer artículo, miramos la economía experimental, que es algo que fue pionero aquí en Caltech. Tomamos 18 artículos de múltiples instituciones que fueron publicados en dos de las principales revistas de economía. Estos son los artículos que esperaría que se reproduzcan mejor. Lo que encontramos fue que 14 de 18 se replicaron bastante bien, pero cuatro de ellos no lo hicieron.

Es importante tener en cuenta que en dos de esos cuatro casos, hicimos ligeras desviaciones en la forma en que se realizó el experimento. Ese es un recordatorio de que los pequeños cambios pueden marcar una gran diferencia en la replicación. Por ejemplo, si estás estudiando psicología política y partidismo y reproduces un artículo de 2010, los resultados de hoy pueden ser muy diferentes porque el clima político ha cambiado. No es que los autores del artículo original hayan cometido un error, es que el fenómeno en su estudio cambió.

En nuestro segundo artículo, Analizamos artículos de ciencias sociales publicados entre 2010 y 2015 en Ciencias y Naturaleza , que son las revistas emblemáticas de ciencia general. Estábamos interesados ​​en ellos porque eran artículos muy citados y se los consideraba muy influyentes.

Elegimos los que no serían demasiado laboriosos de replicar, y terminamos con 21 papeles. Lo que encontramos fue que solo alrededor del 60 por ciento se replicaba, y los que no se replicaron tendían a centrarse en cosas como la preparación, que mencioné antes. El cebado ha resultado ser el fenómeno menos replicable. Es una pena porque el concepto subyacente, que pensar en una cosa eleva las asociaciones a cosas relacionadas, es indudablemente cierto.

¿Cómo sucede algo así?

Una de las causas por las que los resultados no se replican es lo que llamamos "piratería informática". El valor p es una medida de la probabilidad estadística de que su hipótesis sea cierta. Si el valor p es bajo, Es muy poco probable que un efecto sea una casualidad debido a la casualidad. En ciencias sociales y medicina, por ejemplo, Por lo general, está probando si cambiar las condiciones del experimento cambia el comportamiento. Realmente desea obtener un valor p bajo porque significa que la condición que cambió tuvo un efecto. P-hacking es cuando sigues probando diferentes análisis con tus datos hasta que el valor p sea bajo.

Un buen ejemplo de piratería informática es eliminar puntos de datos que no se ajustan a su hipótesis (valores atípicos) de su conjunto de datos. Existen métodos estadísticos para lidiar con valores atípicos, pero a veces las personas esperan ver una correlación y no encuentran mucha de ella, por ejemplo. Entonces piensan en una razón plausible para descartar algunos puntos atípicos, porque al hacerlo pueden conseguir que la correlación sea mayor. Esa práctica puede ser abusada pero al mismo tiempo, a veces hay valores atípicos que deben descartarse. Por ejemplo, si los sujetos parpadean demasiado cuando intenta medir la percepción visual, es razonable eliminar los parpadeos o no utilizar algunos sujetos.

Otra explicación es que a veces la suerte ayuda a los científicos. Cuando alguien más intenta replicar ese experimento original pero no obtiene la misma buena suerte, no obtendrán los mismos resultados.

En las ciencias se supone que debes ser imparcial y decir, "Aquí está mi hipótesis, y voy a demostrar que está bien o mal ". ¿Por qué las personas modifican los resultados para obtener la respuesta que desean?

En la cima de la pirámide está el fraude total y, felizmente, eso es bastante raro. Típicamente, si realiza una autopsia o un confesionario en caso de fraude, encuentras a un científico que siente una tremenda presión. A veces es algo personal ("Solo quería que me respetaran") y, a veces, es una subvención o estar demasiado avergonzado para confesarlo.

En los casos fraudulentos, los científicos se salen con la suya con una pequeña cantidad de engaño, y se concentran mucho porque realmente están apostando sus carreras por eso. El hallazgo que falsificaron podría ser lo que los invite a conferencias y les brinde muchos fondos. Entonces es demasiado vergonzoso detenerse y confesar lo que han estado haciendo todo el tiempo.

También hay prácticas científicas defectuosas menos atroces que el fraude total, ¿Derecha?

Seguro. Es el científico quien piensa, "Sé que tengo razón y aunque estos datos no lo prueban, Estoy seguro de que podría realizar muchos más experimentos y demostrarlo. Así que solo voy a ayudar en el proceso creando la mejor versión de los datos. "Es como una cirugía estética para obtener datos.

Y otra vez, hay incentivos que impulsan esto. A menudo, en Big Science y Big Medicine, estás apoyando a mucha gente con tu subvención. Si algo realmente sale mal con su gran teoría o su método innovador, esas personas son despedidas y sus carreras se ven perjudicadas.

Otra fuerza que contribuye a una replicabilidad débil es que, en la ciencia, Dependemos en gran medida de las normas de honor y de la idea de que las personas se preocupan por el proceso y quieren llegar a la verdad. Hay una enorme cantidad de confianza involucrada. Si obtengo un artículo para revisar de una revista líder, No estoy pensando necesariamente como un detective de policía sobre si es una invención.

Muchos de los fraudes solo se descubrieron porque había un patrón en muchos periódicos diferentes. Un artículo era demasiado bueno para ser verdad y el siguiente era demasiado bueno para ser verdad etcétera. Nadie es lo suficientemente bueno como para obtener 10 demasiado buenos para ser verdad seguidos.

Entonces, a menudo, es una especie de casualidad. Alguien se desliza o una persona se da cuenta y luego pide los datos y profundiza un poco más.

¿Qué mejores prácticas deberían seguir los científicos para evitar caer en estas trampas?

Hay muchas cosas que podemos hacer; yo lo llamo actualización de reproducibilidad. Uno es la preinscripción, lo que significa que antes de recopilar sus datos, explica públicamente y publica en línea exactamente qué datos va a recopilar, por qué eligió el tamaño de la muestra, y exactamente qué análisis va a realizar. Entonces, si hace un análisis muy diferente y obtiene un buen resultado, la gente puede preguntarse por qué se apartó de lo que registró previamente y si los análisis no planificados fueron pirateados.

La rúbrica más general se llama ciencia abierta, en el que actúa como si básicamente todo lo que hace debería estar disponible para otras personas, excepto para ciertas cosas como la privacidad del paciente. Eso incluye datos originales, código, instrucciones, y materiales experimentales como grabaciones de video, todo.

El metanálisis es otro método que creo que veremos cada vez más. Ahí es donde se combinan los resultados de estudios que intentan medir el mismo efecto general. Puede usar esa información para encontrar evidencia de cosas como sesgo de publicación, que es una especie de pensamiento grupal. Por ejemplo, Existe una fuerte evidencia experimental de que dar a las personas platos más pequeños hace que coman menos. Quizás estés estudiando platos grandes y pequeños, y no encuentra ningún efecto en el tamaño de la porción. Podrías pensar para ti mismo "Probablemente cometí un error. No voy a intentar publicar eso". O podrías decir "¡Vaya! Eso es realmente interesante. No obtuve un efecto de plato pequeño. Lo voy a enviar a un diario". Y los editores o árbitros dicen:"Probablemente cometió un error. No lo publicaremos". Esos son sesgos de publicación. Pueden ser causados ​​por científicos que retienen los resultados o porque las revistas no los publican porque obtienen un resultado no convencional.

Si un grupo de científicos llega a creer que algo es cierto y la evidencia contraria se ignora o se esconde debajo de la alfombra, eso significa que mucha gente está tratando de llegar a una conclusión colectiva sobre algo que no es cierto. El gran daño es que es una enorme pérdida de tiempo, y puede dañar la percepción pública de cuán sólida es la ciencia en general.

¿La gente es receptiva a los cambios que sugiere?

Yo diría que el 90 por ciento de la gente me ha apoyado mucho. Una muy buena noticia es que el Open Science Framework ha sido apoyado por la Fundación Laura y John Arnold, que es una gran fundación privada, y por otros donantes. Las fundaciones privadas están en una posición única para gastar mucho dinero en cosas como esta. Nuestra primera subvención para hacer réplicas en economía experimental llegó cuando conocí al oficial de programas de la Fundación Alfred P. Sloan. Le dije que estábamos poniendo a prueba un gran proyecto que replicaba experimentos económicos. Se emocionó y era figurativamente como si sacara una bolsa de dinero en efectivo de su maletín allí mismo. Más tarde, mis colaboradores en Suecia y Austria obtuvieron una subvención particularmente grande de $ 1.5 millones para trabajar en la replicación. Ahora que hay algo de impulso las agencias de financiación han sido razonablemente generosas, Lo cual es genial.

Otra cosa que ha sido interesante es que, si bien las revistas no están interesadas en publicar una réplica de un artículo, les gusta mucho lo que hemos hecho, que es un lote de réplicas. A los pocos meses de trabajar en el primer artículo de réplica en economía experimental financiado por Sloan, Recibí un correo electrónico de un editor en Ciencias quien dijo, "Escuché que estás trabajando en esto de la replicación. ¿Has pensado dónde publicarlo?" Eso es un guiño-guiño forma tímida de decir "Por favor envíenoslo" sin hacer ninguna promesa. Finalmente lo publicaron.

¿Qué desafíos ve en el futuro?

Creo que el principal desafío es determinar dónde reside la responsabilidad. Hasta aproximadamente 2000, la sabiduría convencional era, "Nadie pagará por su replicación y nadie publicará su replicación. Y si no sale bien, solo harás un enemigo. No se moleste en replicar. "A los estudiantes a menudo se les decía que no hicieran la replicación porque sería malo para sus carreras. Creo que eso es falso, pero es cierto que nadie va a ganar un gran premio por replicar el trabajo de otra persona. La mejor trayectoria profesional en ciencias proviene de demostrar que puedes hacer algo original, importante, y creativo. La replicación es exactamente lo contrario. Es importante que alguien lo haga, pero no es creativo. Es algo que la mayoría de los científicos quieren que haga otra persona.

Lo que se necesita son instituciones que generen réplicas en curso, en lugar de depender de científicos que intentan ser creativos y hacer avances para lograrlo. Podrían ser algunos centros que solo se dedican a replicar. Podían elegir uno de cada cinco artículos publicados en una revista determinada, replicarlo, y publique sus resultados en línea. Sería como auditar o una especie de Consumer Reports para la ciencia. Creo que surgirán algunas instituciones como esa. O tal vez agencias de subvenciones, como los Institutos Nacionales de Salud o la Fundación Nacional de Ciencias, debería ser responsable de incorporar las salvaguardias. Podrían tener un proceso de auditoría que aparta dinero de la subvención para hacer una réplica y verificar su trabajo.

Para mí esto es como un hobby. Ahora espero que algún otro grupo de personas cuidadosas, muy apasionadas e inteligentes, tomen el relevo y comiencen a hacer réplicas de manera muy rutinaria.