Dicen que la retrospectiva es 20-20, y tal vez en ninguna parte esto sea más cierto que en la investigación académica.

"Todos hemos tenido la experiencia de ponernos de pie para presentar un nuevo conjunto de hallazgos, a menudo sobre la base de años de trabajo, y tener a alguien en la audiencia soltando '¡Pero eso ya lo sabíamos! '", dice el profesor Stefano DellaVigna, economista del comportamiento con nombramientos conjuntos en el Departamento de Economía y Berkeley Haas. "Pero en la mayoría de estos casos, alguien hubiera dicho lo mismo si hubiéramos encontrado el resultado opuesto. Todos somos 20-20 después del hecho."

DellaVigna tiene una cura para este tipo de mariscal de campo académico el lunes por la mañana:una plataforma de predicción para capturar la sabiduría convencional antes de que se ejecuten los estudios.

Junto con sus colegas Devin Pope de la Escuela de Negocios Booth de la Universidad de Chicago y Eva Vivalt de la Escuela de Investigación de Economía de la Universidad Nacional de Australia, ha lanzado un sitio web beta que permitirá a los investigadores, Doctor. estudiantes, e incluso miembros del público en general para revisar los proyectos de investigación propuestos y hacer predicciones sobre el resultado.

Su propuesta, presentado en un artículo en Ciencias Foro de políticas, es parte de una ola de esfuerzos para mejorar el rigor y la credibilidad de la investigación en ciencias sociales. Estas reformas fueron provocadas por la crisis de replicación —el fracaso en reproducir los resultados de muchos estudios publicados— e incluyen esfuerzos masivos para replicar estudios, así como plataformas para prerregistrar diseños e hipótesis de investigación.

"Pensamos que se podía ganar algo importante al tener un registro de lo que la gente creía antes de que se conocieran los resultados, y los científicos sociales nunca lo han hecho de manera sistemática, "dice DellaVigna, quien codirige la Iniciativa de Berkeley para Economía y Finanzas del Comportamiento. "Esto no solo nos ayudará a identificar mejor los resultados que son realmente sorprendentes, pero también ayudará a mejorar el diseño experimental y la precisión de los pronósticos ".

Porque la ciencia se basa en sí misma, las personas interpretan los nuevos resultados basándose en lo que ya saben. Una ventaja de la plataforma de predicción es que ayudaría a identificar mejor los resultados realmente sorprendentes, incluso en los casos en los que hay un resultado nulo, que rara vez se publica porque normalmente no se considera significativo, argumentan los investigadores.

"La recopilación de pronósticos anticipados de los resultados de la investigación podría combatir este sesgo al hacer que los resultados nulos sean más interesantes, ya que pueden indicar una desviación de la sabiduría aceptada, "Vivalt escribió en un artículo sobre la propuesta en The Conversation.

Una plataforma de predicción de investigación también ayudará a medir la precisión con la que los expertos son realmente en ciertas áreas. Por ejemplo, DellaVigna y Pope recopilaron predicciones de expertos académicos sobre 18 experimentos diferentes para determinar la eficacia de los "empujones" frente a los incentivos monetarios para motivar a los trabajadores a realizar una tarea en línea. Encontraron que los expertos eran bastante precisos, pero no hubo diferencia entre profesores altamente citados y otros profesores, y ese Ph.D. los estudiantes hicieron lo mejor.

Comprender dónde existe un consenso general también puede ayudar a los investigadores a diseñar mejores preguntas de investigación, para llegar a fenómenos menos entendidos, señalan los autores. La recopilación de una masa crítica de predicciones también abrirá una nueva área de investigación potencial sobre si las personas actualizan sus creencias después de que se conozcan los nuevos resultados.

Hacer una predicción en la plataforma requeriría una simple encuesta de 5 a 15 minutos, Dice DellaVigna. Los pronósticos se distribuirán al investigador después de que se recopilen los datos, y los resultados del estudio se enviarían a los pronosticadores al final del estudio.

Berkeley Haas Prof.Don Moore, que ha sido un líder en la defensa de una mayor transparencia, rigurosos métodos de investigación y formación de la próxima generación de investigadores, dice que la plataforma de predicción "podría generar un cambio poderoso y constructivo en la forma en que pensamos sobre los resultados de la investigación. Una de sus grandes ventajas es que aprovecha la sabiduría de la multitud, potencialmente aprovechar el conocimiento colectivo de un campo para ayudar a establecer un consenso científico sobre el cual se pueden construir nuevos resultados de investigación ".