A principios de este otoño, Los investigadores de Dartmouth College publicaron un estudio que afirmaba vincular los videojuegos violentos con la agresión en los niños. La lógica de un estudio metaanalítico como este es que, al combinar muchos estudios individuales, los científicos pueden buscar tendencias o efectos comunes identificados en trabajos anteriores. Solamente, como investigadora de psicología que se ha centrado durante mucho tiempo en esta área, Sostengo que este metanálisis no hizo nada por el estilo. De hecho, la magnitud del efecto que encontraron es aproximadamente la misma que la de comer papas en el suicidio de adolescentes. Si algo, sugiere que los videojuegos no predicen la agresión juvenil.

Este estudio, y a otros les gusta, son sintomáticos de un gran problema dentro de las ciencias sociales:la exageración de resultados de investigación poco fiables que tienen poca aplicación en el mundo real. A menudo, estos hallazgos dan forma a las percepciones públicas de la condición humana y guían las políticas públicas, a pesar de ser en gran medida una basura. Así es como sucede.

Los últimos años han visto la psicología, en particular, envuelto en lo que algunos llaman una crisis de reproducibilidad. Muchos hallazgos apreciados durante mucho tiempo en las ciencias sociales en general han resultado difíciles de reproducir en condiciones rigurosas. Cuando se vuelve a ejecutar un estudio, no presenta los mismos resultados que se publicaron originalmente. La presión para publicar hallazgos positivos y la tendencia de los investigadores a inyectar sus propios sesgos en los análisis intensifican el problema. Gran parte de esta falta de replicación se puede abordar con métodos más transparentes y rigurosos en las ciencias sociales.

Pero la sobrevaloración de resultados débiles es diferente. No se puede arreglar metodológicamente; una solución tendría que provenir de un cambio cultural dentro del campo. Pero los incentivos para ser francos sobre las deficiencias son pocos, particularmente para un campo como la psicología, que se preocupa por la percepción pública.

Un ejemplo es la prueba de asociación implícita (IAT). Esta técnica es más famosa por investigar los prejuicios raciales inconscientes. Dada la atención que ha recibido y las teorías basadas en él, Se ha desarrollado una especie de industria artesanal para capacitar a los empleados sobre sus prejuicios implícitos y cómo superarlos. Desafortunadamente, varios estudios sugieren que el IAT no es confiable y no predice el comportamiento del mundo real. Combatir los prejuicios raciales es un elogio, pero la considerable inversión pública en el IAT y el concepto de sesgos implícitos es probablemente menos productivo de lo que se anuncia.

Parte del problema es algo que llamo "muerte por comunicado de prensa". Este fenómeno ocurre cuando los investigadores o su universidad, o una organización de publicación de revistas como la Asociación Estadounidense de Psicología, publica un comunicado de prensa que exagera los hallazgos de un estudio sin detallar sus limitaciones. Las afirmaciones sensacionalistas tienden a llamar más la atención de las noticias.

Por ejemplo, Un laboratorio de alimentos ahora notorio en Cornell experimentó múltiples retractaciones después de que se supo que torturaron sus datos para obtener conclusiones favorables a los titulares. Su investigación sugirió que las personas comían más cuando se les servían porciones más grandes, programas de televisión de acción que aumentan el consumo de alimentos, y el consumo de verduras de los niños aumentaría si se cambiara el nombre de los productos agrícolas con temas amigables para los niños, como "zanahorias con visión de rayos X". Principalmente, Brian Wansink, líder del laboratorio, parece haberse convertido en un experto en marketing de ciencias sociales, aunque la mayoría de las conclusiones fueron endebles.

Otra preocupación es un proceso que llamo "blanqueo de ciencia":la limpieza de suciedad, desordenado, ciencia inconclusa para el consumo público. En mi propia área de especialización, el metaanálisis de Dartmouth sobre videojuegos es un buen ejemplo. Evidencia similar a la que se había incluido en el metanálisis había estado disponible durante años y de hecho formó la base de por qué la mayoría de los estudiosos ya no vinculan los juegos violentos con las agresiones de los jóvenes.

La revista Science discutió recientemente cómo los metaanálisis se pueden usar incorrectamente para tratar de terminar prematuramente los debates científicos. Los metanálisis pueden ser útiles cuando arrojan luz sobre prácticas científicas que pueden causar efectos espurios, para orientar la investigación futura. Pero pueden suavizar artificialmente importantes desacuerdos entre estudios.

Digamos que tenemos la hipótesis de que comer arándanos cura la depresión. Realizamos 100 estudios para probar esta hipótesis. Imagine que aproximadamente el 25 por ciento de nuestros experimentos encuentra pequeños vínculos entre los arándanos y la reducción de la depresión, mientras que el otro 75 por ciento no muestra nada. La mayoría de la gente estaría de acuerdo en que este es un resultado bastante pobre para la hipótesis del arándano. La mayor parte de nuestra evidencia no encontró ninguna mejora en la depresión después de comer las bayas. Pero, debido a una peculiaridad del metanálisis, La combinación de los 100 estudios juntos mostraría lo que los científicos llaman un efecto "estadísticamente significativo", es decir, algo que es poco probable que suceda por casualidad, aunque la mayoría de los estudios individuales por sí solos no fueron estadísticamente significativos.

Combinar incluso unos pocos estudios que muestran un efecto con un grupo más grande de estudios que no lo hacen puede terminar con un resultado de metanálisis que parece estadísticamente significativo, incluso si los estudios individuales variaron bastante. Este tipo de resultados constituyen lo que algunos psicólogos han llamado el "factor de mierda" de la investigación psicológica:hallazgos estadísticamente significativos que son ruido, no efectos reales que reflejen nada en el mundo real. O, dicho sin rodeos, Los metanálisis son una gran herramienta para que los académicos se engañen.

Las organizaciones de gremios profesionales para campos como la psicología y la pediatría deben cargar con gran parte de la culpa por la difusión de la sobrevaloración de la investigación. Tales organizaciones liberan numerosos, a menudo profundamente defectuoso, declaraciones de política que anuncian los resultados de la investigación en un campo. El público a menudo no se da cuenta de que estas organizaciones funcionan para comercializar y promover una profesión; no son neutrales, observadores objetivos de la investigación científica, que a menudo se publica, por ingresos, en sus propios diarios.

Desafortunadamente, Este blanqueo de ciencia puede volver a acechar un campo cuando las afirmaciones sobrevaloradas resultan engañosas. La sobrepromoción deshonesta de las ciencias sociales puede hacer que el público y los tribunales se vuelvan más escépticos al respecto. ¿Por qué los contribuyentes deberían financiar investigaciones que son basura sobrevendida? ¿Por qué los consumidores de los medios de comunicación deberían confiar en lo que dice la investigación hoy si se sintieron quemados por lo que dijo ayer?

Los académicos individuales y los gremios profesionales que los representan pueden hacer mucho para solucionar estos problemas reconsiderando estándares laxos de evidencia. la sobreventa de efectos débiles, y la actual falta de honestidad sobre las limitaciones metodológicas. Mientras tanto, el público hará bien en seguir aplicando una buena dosis de pensamiento crítico a las elevadas afirmaciones que surgen de los comunicados de prensa en las ciencias sociales. Pregunte si la magnitud del efecto es significativamente mayor que para las papas sobre el suicidio. Si la respuesta es no, Es hora de moverse.

Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.