Pedimos consejo a los expertos todo el tiempo. Una empresa podría pedirle consejo a un economista sobre cómo motivar a sus empleados. Un gobierno podría preguntarse cuál será el efecto de una reforma política.

Para dar el consejo, a los expertos a menudo les gustaría aprovechar los resultados de un experimento. Pero no siempre tienen evidencia experimental relevante.

La recopilación de predicciones de expertos sobre los resultados de la investigación podría ser una nueva herramienta poderosa para ayudar a mejorar la ciencia y los consejos que brindan los científicos.

Mejor ciencia

En las últimas décadas, rigor académico y transparencia, particularmente en las ciencias sociales, han mejorado mucho.

Todavía, como argumentó recientemente el científico jefe de Australia, Alan Finkel, todavía queda mucho por hacer para minimizar la "mala ciencia".

Recomienda cambios en la forma en que se mide y financia la investigación. Otro enfoque cada vez más común es realizar ensayos controlados aleatorios y prerregistrar estudios para evitar sesgos en los informes de resultados.

Las predicciones de expertos pueden ser otra herramienta más para fortalecer la investigación, como mis coautores Stefano DellaVigna, Devin Pope y yo discutimos en un nuevo artículo publicado en Ciencias .

¿Por qué predicciones?

La forma en que interpretamos los resultados de la investigación depende de lo que ya creemos. Por ejemplo, si viéramos un estudio que afirma demostrar que fumar es saludable, probablemente seríamos bastante escépticos.

Si un resultado sorprende a los expertos, ese hecho en sí es informativo. Podría sugerir que algo puede haber estado mal con el diseño del estudio.

O, si el estudio estaba bien diseñado y el hallazgo se repitió, podríamos pensar que ese resultado cambió fundamentalmente nuestra comprensión de cómo funciona el mundo.

Sin embargo, actualmente los investigadores rara vez recopilan información que les permita comparar sus resultados con lo que la comunidad investigadora creía de antemano. Esto dificulta la interpretación de la novedad y la importancia de un resultado.

El proceso de publicación académica también está plagado de prejuicios contra la publicación insignificante, o "nulo, "resultados.

La recopilación de pronósticos anticipados de los resultados de la investigación podría combatir este sesgo al hacer que los resultados nulos sean más interesantes, ya que pueden indicar una desviación de la sabiduría aceptada.

Cambiar de opinión

Además de mejorar directamente la interpretación de los resultados de la investigación, La recopilación de pronósticos anticipados puede ayudarnos a comprender cómo las personas cambian de opinión.

Por ejemplo, mi colega Aidan Coville y yo recopilamos pronósticos anticipados de los formuladores de políticas para estudiar qué efecto tenían los resultados de la investigación académica en sus creencias. Descubrimos que, en general, eran más receptivos a las "buenas noticias" que a las "malas noticias" e ignoraban las incertidumbres en los resultados.

Los pronósticos también pueden informarnos sobre qué estudios potenciales podrían mejorar más las decisiones de política.

Por ejemplo, supongamos que un equipo de investigación tiene que elegir una de las diez intervenciones para estudiar. Para algunas de las intervenciones, estamos bastante seguros de lo que encontraría un estudio, y es poco probable que un nuevo estudio nos cambie de opinión. Para otros, estamos menos seguros, pero es poco probable que sean la mejor intervención.

Si las predicciones se recopilaron con anticipación, podrían decirnos qué intervención estudiar para tener el mayor impacto político.

Probando pronósticos

A la larga, si se puede demostrar que los pronósticos de los expertos son bastante precisos, podrían brindar cierto apoyo para las decisiones de política donde no se pueden realizar estudios rigurosos.

Por ejemplo, Stefano DellaVigna y Devin Pope recopilaron pronósticos sobre cómo los diferentes incentivos cambian la cantidad de esfuerzo que las personas dedican a completar una tarea.

Como puede ver en el gráfico a continuación, los pronósticos no eran perfectos (un punto en la línea diagonal discontinua representaría una coincidencia perfecta del pronóstico y el resultado). Pero parece haber cierta correlación entre los pronósticos agregados y los resultados.

Un lugar central para los pronósticos

Para aprovechar al máximo las previsiones de los resultados de la investigación, deben recopilarse sistemáticamente.

Tiempo extraordinario, esto nos ayudaría a evaluar qué tan precisos son los pronosticadores individuales, enséñanos cuál es la mejor manera de agregar pronósticos, y díganos qué tipos de resultados tienden a predecirse bien.

Creamos una plataforma que los investigadores pueden usar para recopilar pronósticos sobre sus experimentos de los investigadores, Responsables políticos, practicantes, y otras audiencias importantes. El sitio web beta se puede ver aquí.

Si bien nos enfocamos primero en nuestra propia disciplina, la economía, creemos que tal herramienta debería ser ampliamente útil. Animamos a los investigadores de cualquier campo académico a que consideren recopilar predicciones de los resultados de la investigación.

Hay muchos usos potenciales para las predicciones de los resultados de la investigación más allá de los descritos aquí. Muchos otros académicos también están explorando esta área, como los mercados de replicación y los proyectos repliCATS que forman parte de una gran iniciativa de investigación sobre replicación.

Los múltiples usos posibles de los pronósticos de la investigación nos dan la confianza de que un tratamiento más riguroso y sistemático de las creencias previas puede mejorar en gran medida la interpretación de los resultados de la investigación y, en última instancia, mejorar la forma en que hacemos ciencia.

Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.