Ante la grave preocupación por la desinformación, Las redes sociales y las organizaciones de noticias a menudo emplean verificadores de hechos para distinguir lo real de lo falso. Pero los verificadores de hechos solo pueden evaluar una pequeña parte de las historias que circulan en línea.

Un nuevo estudio realizado por investigadores del MIT sugiere un enfoque alternativo:los juicios de precisión de grupos de lectores normales pueden ser virtualmente tan efectivos como el trabajo de verificadores de datos profesionales.

"Un problema con la verificación de datos es que hay demasiado contenido para que los verificadores de datos profesionales puedan cubrir, especialmente dentro de un período de tiempo razonable, "dice Jennifer Allen, un doctorado estudiante de la MIT Sloan School of Management y coautor de un artículo recientemente publicado que detalla el estudio.

Pero el estudio actual, examinar más de 200 noticias que los algoritmos de Facebook habían marcado para un mayor escrutinio, puede haber encontrado una manera de abordar ese problema, mediante el uso de relativamente pequeño, Grupos de lectores legos políticamente equilibrados para evaluar los titulares y las oraciones principales de las noticias.

"Nos pareció alentador, "dice Allen." La calificación promedio de una multitud de 10 a 15 personas se correlacionó también con los juicios de los verificadores de hechos como los verificadores de hechos se correlacionaron entre sí. Esto ayuda con el problema de escalabilidad porque estos evaluadores eran personas normales sin capacitación en verificación de datos. y simplemente leen los titulares y las oraciones iniciales sin dedicar tiempo a investigar ".

Eso significa que el método de crowdsourcing podría implementarse de manera amplia y económica. El estudio estima que el costo de que los lectores evalúen las noticias de esta manera es de aproximadamente $ 0.90 por historia.

"No hay nada que resuelva el problema de las noticias falsas en línea, "dice David Rand, profesor del MIT Sloan y coautor principal del estudio. "Pero estamos trabajando para agregar enfoques prometedores al conjunto de herramientas contra la desinformación".

El papel, "Ampliación de la verificación de hechos utilizando la sabiduría de las multitudes, "se publica hoy en Avances de la ciencia . Los coautores son Allen; Antonio A. Arechar, científico investigador del Laboratorio de Cooperación Humana del MIT; Gordon Pennycook, profesor asistente de ciencias del comportamiento en las Escuelas de Negocios Hill / Levene de la Universidad de Regina; y Rand, quien es el profesor Erwin H. Schell y profesor de ciencias de la administración y ciencias del cerebro y cognitivas en el MIT, y director del Laboratorio de Cooperación Aplicada del MIT.

Una masa crítica de lectores

Para realizar el estudio, los investigadores utilizaron 207 artículos de noticias que un algoritmo interno de Facebook identificó como que necesitaban verificación de datos, ya sea porque había motivos para creer que eran problemáticos o simplemente porque se compartían ampliamente o se trataban de temas importantes como la salud. El experimento implementó 1, 128 residentes de EE. UU. Que utilizan la plataforma Mechanical Turk de Amazon.

A esos participantes se les dio el titular y la oración principal de 20 noticias y se les hicieron siete preguntas:¿en qué medida la historia era "precisa, " "cierto, " "de confianza, " "digno de confianza, "" objetivo, "" imparcial, "y" describir un evento que realmente sucedió ", para generar una puntuación de precisión general sobre cada noticia.

Al mismo tiempo, Tres verificadores de datos profesionales recibieron las 207 historias y se les pidió que evaluaran las historias después de investigarlas. En consonancia con otros estudios sobre verificación de datos, aunque las calificaciones de los verificadores de hechos estaban altamente correlacionadas entre sí, su acuerdo estaba lejos de ser perfecto. En aproximadamente el 49 por ciento de los casos, los tres verificadores de hechos coincidieron en el veredicto adecuado sobre la facticidad de una historia; alrededor del 42 por ciento del tiempo, dos de los tres verificadores de hechos estuvieron de acuerdo; y aproximadamente el 9 por ciento de las veces, cada uno de los tres verificadores de hechos tenía calificaciones diferentes.

Curiosamente, cuando los lectores habituales reclutados para el estudio se clasificaron en grupos con el mismo número de demócratas y republicanos, sus calificaciones promedio estaban altamente correlacionadas con las calificaciones de los verificadores de datos profesionales, y con al menos un número de lectores involucrados de dos dígitos, las calificaciones de la multitud se correlacionaron tan fuertemente con los verificadores de hechos como lo hacían los verificadores de hechos entre sí.

"Estos lectores no estaban capacitados para verificar los hechos, y solo estaban leyendo los titulares y las oraciones iniciales, y aun así pudieron igualar el desempeño de los verificadores de hechos, "Dice Allen.

Si bien al principio puede parecer sorprendente que una multitud de 12 a 20 lectores pueda igualar el desempeño de los verificadores de datos profesionales, este es otro ejemplo de un fenómeno clásico:la sabiduría de las multitudes. En una amplia gama de aplicaciones, Se ha descubierto que los grupos de laicos igualan o superan el desempeño de los juicios de expertos. El estudio actual muestra que esto puede ocurrir incluso en el contexto altamente polarizado de identificación de información errónea.

Los participantes del experimento también realizaron una prueba de conocimiento político y una prueba de su tendencia a pensar analíticamente. En general, las calificaciones de las personas que estaban mejor informadas sobre cuestiones cívicas y participaban en un pensamiento más analítico estaban más estrechamente alineadas con los verificadores de hechos.

"Las personas que participaron en un mayor razonamiento y tenían más conocimientos estuvieron más de acuerdo con los verificadores de hechos, "Dice Rand." Y eso era cierto independientemente de si eran demócratas o republicanos ".

Mecanismos de participación

Los académicos dicen que el hallazgo podría aplicarse de muchas maneras, y señalan que algunos gigantes de las redes sociales están tratando activamente de hacer que el crowdsourcing funcione. Facebook tiene un programa, llamado Revisión de la comunidad, dónde se contrata a laicos para evaluar el contenido de las noticias; Twitter tiene su propio proyecto, Observación de aves, solicitar información del lector sobre la veracidad de los tweets. La sabiduría de las multitudes se puede utilizar para ayudar a aplicar etiquetas de cara al público al contenido, o para informar algoritmos de clasificación y qué contenido se muestra a las personas en primer lugar.

Para estar seguro, los autores señalan, Cualquier organización que utilice crowdsourcing necesita encontrar un buen mecanismo para la participación de los lectores. Si la participación está abierta a todos, Es posible que los partidarios influyan injustamente en el proceso de crowdsourcing.

"Aún no lo hemos probado en un entorno en el que cualquiera pueda participar, "Las plataformas no deben esperar necesariamente que otras estrategias de crowdsourcing produzcan resultados igualmente positivos", señala Allen.

Por otra parte, Rand dice, las organizaciones de noticias y redes sociales tendrían que encontrar formas de lograr que grupos suficientemente grandes de personas evalúen activamente las noticias, para que el crowdsourcing funcione.

"La mayoría de las personas no se preocupan por la política y se preocupan lo suficiente como para intentar influir en las cosas, ", Dice Rand." Pero la preocupación es que si dejas que las personas califiquen el contenido que quieran, entonces las únicas personas que lo harán serán las que quieran jugar con el sistema. Todavía, a mi, una preocupación mayor que ser abrumado por fanáticos es el problema de que nadie lo haría. Es un problema clásico de bienes públicos:la sociedad en general se beneficia de que las personas identifiquen la información errónea, pero, ¿por qué los usuarios deberían tomarse la molestia de invertir tiempo y esfuerzo para otorgar calificaciones? "