El ataque mortal a dos mezquitas en Christchurch, Nueva Zelanda, en el que 50 personas murieron y muchas otras resultaron gravemente heridas, fue transmitido en vivo en Facebook por el hombre acusado de llevarlo a cabo. Luego se compartió rápidamente en las plataformas de redes sociales.

Las versiones del video de ataque de transmisión en vivo permanecieron en línea durante un período de tiempo preocupante. Un informe de The Guardian encontró que un video permaneció en Facebook durante seis horas y otro en YouTube durante tres. Para muchos, La difusión rápida y aparentemente imparable de este video tipifica todo lo que está mal en las redes sociales:tóxico, contenido lleno de odio que se vuelve viral y es visto por millones.

Pero debemos evitar convertirnos en chivos expiatorios de las grandes plataformas. Todos ellos (Twitter, Facebook, YouTube, Google, Snapchat) están inscritos en el programa # NoPlace4Hate de la Comisión Europea. Se comprometen a eliminar el contenido ilegal que incita al odio en un plazo de 24 horas. un período de tiempo que probablemente se reducirá a solo una hora.

Aparte de cualquier otra cosa, son conscientes de los riesgos para la reputación de estar asociados con el terrorismo y otros contenidos dañinos (como pornografía, suicidio, pedofilia) y están dedicando cada vez más recursos considerables a eliminarla. Dentro de las 24 horas posteriores al ataque de Christchurch, Facebook había prohibido 1,5 millones de versiones del video de ataque, de los cuales 1,2 millones dejó de cargarse.

Monitorear contenido de odio siempre es difícil e incluso los sistemas más avanzados pierden accidentalmente algunos. Pero durante los ataques terroristas, las grandes plataformas enfrentan desafíos particularmente importantes. Como ha demostrado la investigación, los ataques terroristas precipitan enormes picos de odio en línea, invadir los sistemas de informes de las plataformas. Muchas de las personas que suben y comparten este contenido también saben cómo engañar a las plataformas y sortear sus controles existentes.

Entonces, ¿qué pueden hacer las plataformas para eliminar el contenido extremista y de odio inmediatamente después de los ataques terroristas? Propongo cuatro medidas especiales que son necesarias para atacar específicamente la afluencia de odio a corto plazo.

1. Ajusta la sensibilidad de las herramientas de detección del odio.

Todas las herramientas para la detección del odio tienen un margen de error. Los diseñadores tienen que decidir con cuántos falsos negativos y falsos positivos están contentos. Los falsos negativos son fragmentos de contenido que están permitidos en línea a pesar de que son odiosos y los falsos positivos son fragmentos de contenido que se bloquean aunque no sean odiosos. Siempre hay una compensación entre los dos al implementar cualquier sistema de detección de odio.

La única forma de asegurarse de que ningún contenido que incite al odio esté en línea es prohibir que se cargue todo el contenido, pero esto sería un error. Es mucho mejor ajustar la sensibilidad de los algoritmos para que las personas puedan compartir contenido, pero las plataformas captan muchas más cosas odiosas.

2. Habilita derribos más fáciles

Contenido de odio que llega a las grandes plataformas, como Twitter y Facebook, puede ser marcado por los usuarios. Luego es enviado para revisión manual por un moderador de contenido, quién lo comprueba utilizando pautas predefinidas. La moderación de contenido es un negocio fundamentalmente difícil, y las plataformas tienen como objetivo minimizar las revisiones inexactas. A menudo, esto es mediante el uso del "palo":según algunos periodistas de investigación, los moderadores que trabajan en nombre de Facebook corren el riesgo de perder sus trabajos a menos que mantengan altos puntajes de precisión de moderación.

Durante los ataques, Las plataformas podrían introducir procedimientos especiales para que el personal pueda trabajar rápidamente con el contenido sin temor a una evaluación de bajo rendimiento. También podrían introducir cuarentenas temporales para que el contenido se marque para su eliminación inmediata, pero luego se vuelva a examinar en una fecha posterior.

3. Limite la capacidad de los usuarios para compartir

Compartir es una parte fundamental de las redes sociales, y las plataformas fomentan activamente el intercambio tanto en sus sitios (que es fundamental para sus modelos de negocio) como entre ellos, ya que significa que ninguno de ellos se pierde cuando algo se vuelve viral. Pero la facilidad para compartir también conlleva riesgos:las investigaciones muestran que el contenido extremo y de odio se importa de sitios de extrema derecha y se vierte a la corriente principal, donde puede extenderse rápidamente a grandes audiencias. Y durante los ataques, significa que cualquier cosa que supere el software de detección de odio de una plataforma se puede compartir rápidamente en todas las plataformas.

Las plataformas deben limitar la cantidad de veces que se puede compartir contenido dentro de su sitio y potencialmente prohibir el intercambio entre sitios. Esta táctica ya ha sido adoptada por WhatsApp, lo que ahora limita el número de veces que se puede compartir contenido a solo cinco.

4. Cree bases de datos compartidas de contenido

Todas las grandes plataformas tienen pautas muy similares sobre lo que constituye "odio" y tratarán de eliminar en gran medida el mismo contenido después de los ataques. La creación de una base de datos compartida de contenido que incita al odio garantizaría que el contenido eliminado de un sitio sea automáticamente prohibido en otro. Esto no solo evitaría la duplicación innecesaria, sino que también permitiría a las plataformas dedicar rápidamente recursos al contenido realmente desafiante que es difícil de detectar.

Eliminar el contenido que incita al odio debe verse como un esfuerzo de toda la industria y no como un problema al que se enfrenta cada plataforma de forma individual. Las bases de datos compartidas como esta también existen de forma limitada, pero es necesario intensificar enormemente los esfuerzos y ampliar su alcance.

A largo plazo, Las plataformas deben seguir invirtiendo en moderación de contenido y desarrollando sistemas avanzados que integren controles humanos con aprendizaje automático. Pero también existe una necesidad apremiante de medidas especiales para manejar la afluencia de odio a corto plazo que sigue a los ataques terroristas.

Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.