Una nueva investigación busca comprender qué impulsa las decisiones en los análisis de datos y el proceso a través del cual los académicos prueban una hipótesis comparando los análisis de diferentes investigadores que probaron las mismas hipótesis en el mismo conjunto de datos. Los analistas informaron análisis radicalmente diferentes y resultados empíricos dispersos, incluso, en algunos casos, efectos significativos en direcciones opuestas entre sí. Las decisiones sobre operacionalizaciones variables explicaron la falta de consistencia en los resultados más allá de las opciones estadísticas (es decir, qué análisis o covariables utilizar).

"Nuestros hallazgos ilustran la importancia de las opciones analíticas y cómo diferentes métodos estadísticos pueden llevar a diferentes conclusiones, ", dice Martin Schweinsberg." Una pregunta de investigación académica a veces se puede investigar de diferentes maneras, incluso si las respuestas se derivan del mismo conjunto de datos y por analistas sin ningún incentivo para encontrar un resultado en particular, y esta investigación destaca esto ".

Para realizar la investigación, El profesor Schweinsberg reclutó a una multitud de analistas de todo el mundo para probar dos hipótesis sobre los efectos del género y el estatus profesional de los científicos en la participación activa en conversaciones grupales. Usando el foro académico en línea Edge, Los investigadores analizaron datos de discusiones grupales de discusiones científicas de más de dos décadas (1996-2014). El conjunto de datos contenía más de 3 millones de palabras de 728 colaboradores y 150 variables relacionadas con la conversación. sus colaboradores, o el nivel textual de la transcripción. Luego, utilizando la nueva plataforma DataExplained, desarrollado por los coautores Michael Feldman, Nicola Staub, y Abraham Bernstein, Los investigadores analizaron los datos en R para identificar si había un vínculo entre el género o el estado profesional de un científico con sus niveles de verbosidad.

Los analistas utilizaron varios conjuntos de tamaños de muestra, enfoques estadísticos, y covariables, lo que condujo a varios resultados diferentes en relación con las hipótesis. Esta, por lo tanto, resultó en varios, hallazgos aún defendibles de los diversos analistas. Al utilizar DataExplained, El profesor Schweinsberg y sus colegas pudieron comprender con precisión cómo diferían estas opciones analíticas, a pesar de que los datos y las hipótesis sean los mismos. Un estudio cualitativo del código R utilizado por los analistas reveló un modelo de proceso para la psicología detrás del análisis de datos.

El profesor Schweinsberg dice que su "estudio ilustra los beneficios de las prácticas científicas transparentes y abiertas. Las elecciones analíticas subjetivas son inevitables, y deberíamos aceptarlos porque una colección de diversos antecedentes y enfoques analíticos puede revelar la verdadera consistencia de una afirmación empírica ".

Esta investigación muestra el papel fundamental que juegan las decisiones subjetivas de los investigadores al influir en los resultados empíricos informados. Según los investigadores, estos hallazgos enfatizan la importancia de los datos abiertos, que está disponible públicamente, controles sistemáticos de solidez en la investigación académica, y tanta transparencia como sea posible con respecto a los caminos analíticos tomados y no tomados, para garantizar que la investigación sea lo más precisa posible. También sugieren humildad al comunicar los hallazgos de la investigación y cautela al aplicarlos en la toma de decisiones organizacionales.