Un nuevo estudio dirigido por la Universidad de Tel Aviv publicado el 20 de mayo en Naturaleza ofrece nueva evidencia de que la complejidad de los métodos analíticos contemporáneos en la ciencia contribuye a la variabilidad de los resultados de la investigación.

Estudios previos en los campos de la psicología, La biología del cáncer y la economía del comportamiento revelaron muchos fracasos en el intento de reproducir metodologías y reflejar resultados. Los investigadores de TAU utilizaron un enfoque conocido como "Muchos analistas, "en el que muchos investigadores analizaron el mismo conjunto de datos para probar la variabilidad en los resultados del análisis, explica el coautor principal del estudio, el Dr. Tom Schonberg, del Departamento de Neurobiología de la Facultad de Ciencias de la Vida George S. Wise de TAU y la Escuela de Neurociencia Sagol de TAU.

"La variabilidad en los resultados demostrada en este estudio es una parte inherente del complejo proceso de obtención de resultados científicos, y debemos entenderlo para saber cómo abordarlo, ", añade." La ciencia la llevan a cabo los seres humanos, y no hay forma de escapar de la variabilidad. Pero debemos reconocer esto para autocorregirnos y obtener las respuestas más confiables ".

El análisis de neuroimagen, El Estudio de Replicación y Predicción (NARPS) también fue dirigido por el ex Ph.D. del Dr. Schonberg. estudiante Dr. Rotem Botvinik-Nezer, hoy investigador postdoctoral en Dartmouth College, junto con los co-investigadores Prof. Russel Poldrack de la Universidad de Stanford y Prof. Thomas Nichols de la Universidad de Oxford.

En general, 180 investigadores de 70 equipos de científicos de todo el mundo analizaron el mismo conjunto de datos de imágenes cerebrales de 108 sujetos. Estos sujetos participaron en una tarea que puso a prueba su toma de decisiones con respecto a apuestas de ganancias y pérdidas potenciales. Cada grupo eligió un método de análisis distinto, y los diferentes métodos llevaron a diferentes conclusiones.

"A menudo se critica la ciencia, "dice el Dr. Schonberg." Pero no es una creencia como una religión, como algunos han argumentado. Tiene reglas y un método:el método científico. Estamos constantemente tratando de mejorar este método en un proceso de auto-cuestionamiento. Creemos que nuestro estudio hace avanzar este proceso ".

A los equipos de investigación se les presentaron los mismos datos, escáneres de resonancia magnética funcional de sujetos que realizaban una tarea de toma de decisiones basada en valores, y se les pidió que probaran los mismos nueve conjuntos de hipótesis diferentes.

El gran conjunto de datos de neuroimagen se había recopilado en el transcurso de un año en el Centro Alfredo Federico Strauss de Neuroimagen Computacional en TAU por Roni Iwanir, un ex alumno de maestría de la escuela Sagol del laboratorio de Schonberg. Mientras que los participantes del estudio participaron en la tarea de toma de decisiones monetarias, Se utilizaron escáneres de resonancia magnética funcional para probar si la actividad de regiones específicas del cerebro involucradas en el procesamiento de valores cambiaba en relación con la cantidad de dinero ganado o perdido en una apuesta. Unos 70 equipos internacionales analizaron de forma independiente estos conjuntos de datos en el transcurso de tres meses.

"El procesamiento por el que debe pasar de los datos sin procesar a un resultado con fMRI es realmente complicado, ", agrega el profesor Poldrack." Hay muchas elecciones que debe tomar en cada lugar del flujo de trabajo de análisis ".

Cada equipo de investigadores llegó a sus propias conclusiones finales con respecto a los datos, con resultados que varían significativamente entre los equipos en cinco de nueve hipótesis.

"Nuestro nuevo estudio demostró una alta flexibilidad analítica como ocurre 'en la naturaleza, '”, dice el Dr. Schonberg.“ Los investigadores participantes modelaron las hipótesis de manera diferente y utilizaron software diferente para el análisis. También utilizaron diferentes técnicas y definiciones en diferentes aspectos del análisis ".

Otra parte del estudio involucró a expertos en el campo, así como a investigadores de los equipos de análisis que negocian con otros investigadores en lo que se denominan "mercados de predicción" sobre lo que pensaban que serían los resultados de la investigación. Esta parte del estudio fue realizada por economistas y expertos en finanzas conductuales, quien proporcionó la idea inicial para el estudio, y reveló un marcado exceso de optimismo sobre la capacidad de replicar hallazgos anteriores, incluso por investigadores que analizaron los datos por sí mismos.

"Si bien los resultados finales informados variaron sustancialmente, Los resultados del análisis de la etapa anterior en realidad mostraron un consenso entre la mayoría de los equipos de investigación, "dice el Dr. Schonberg." Esto es muy alentador, y de hecho fue un resultado algo sorprendente. A pesar de la gran variabilidad en los resultados finales informados, el análisis subyacente fue similar, lo que significa que necesitamos encontrar métodos para expresar esta convergencia.

"Por ejemplo, el estudio sugiere que los investigadores podrían realizar y reportar múltiples análisis con los mismos datos, para encontrar los resultados a los que convergen diferentes métodos confiables ".

El Dr. Schonberg cree que los hallazgos pueden ayudar a los científicos a avanzar en su metodología y mejorar la calidad de sus análisis en el futuro.

"Me gustaría que nuestros hallazgos se usaran para hacer avanzar la ciencia, hacia un intercambio aún mayor de toda la información relacionada con el estudio, de transparencia de métodos, códigos de análisis y datos, ", dice el Dr. Schonberg. Esa es la única forma en que todos pueden probar y" jugar "con los resultados para ver qué se mantiene. Hemos visto la importancia y la gran necesidad de compartir datos en la reciente pandemia de COVID-19 para comprender el curso óptimo de acción.

"Naturalmente, la novedad de los descubrimientos es muy importante para los científicos. Pero igualmente importante es el rigor de nuestra metodología, ", concluye el Dr. Schonberg." Nuestro estudio refleja la ambición de una vasta comunidad de científicos de dedicar miles de horas a mejorar nuestras metodologías a fin de sacar las conclusiones correctas y alcanzar resultados fiables ".