A mediados de septiembre, la Unión Europea amenazó con multar a las grandes empresas tecnológicas si no eliminaban el contenido terrorista una hora después de su aparición en línea. El cambio se produjo porque ahora se están desarrollando tensiones crecientes y se están desarrollando en las plataformas de redes sociales.

Conflictos sociales que una vez se acumularon en reuniones de trastienda y llegaron a un punto crítico en las calles de la ciudad, ahora están generando impulso en las plataformas de redes sociales antes de extenderse a la vida real. En el pasado, los gobiernos tendían a controlar los medios tradicionales, con poca o ninguna posibilidad de que las personas difundan el odio.

La revolución digital lo ha alterado todo.

Organizaciones terroristas, sobre todo militantes del Estado Islámico (ISIS), han utilizado plataformas de redes sociales como Facebook, Instagram y Twitter por sus campañas de propaganda, y planificar ataques terroristas contra civiles.

Grupos de extrema derecha, incluidos los extremistas anti-refugiados en Alemania, también están explotando cada vez más las plataformas tecnológicas para defender puntos de vista antiinmigrantes y demonizar a las minorías.

De Sri Lanka a Myanmar, Las tensiones comunales, transmitidas en línea, han llevado a la violencia.

Debido a la creciente voluntad política de los países occidentales para regular las empresas de redes sociales, muchos titanes de la tecnología argumentan que pueden autorregularse y que la inteligencia artificial (IA) es una de las herramientas clave para reducir el odio en línea. Muchos años atrás, Creamos el Laboratorio de Prevención de Atrocidades Masivas Digitales para trabajar en la mejora de las políticas públicas para frenar la explotación de plataformas tecnológicas por parte de extremistas violentos.

¿Habilidades sobrevendidas?

Las empresas de tecnología son dolorosamente conscientes del uso malintencionado de sus plataformas.

En junio de 2017, Facebook, Microsoft, Twitter y YouTube anunciaron la formación del Foro Global de Internet para la Lucha contra el Terrorismo, que tiene como objetivo interrumpir las actividades extremistas en línea. Sin embargo, a medida que aumenta la presión política para eliminar el contenido dañino en línea, estas empresas están comenzando a darse cuenta de los límites de sus moderadores de contenido humano.

En lugar de, Cada vez más, desarrollan e implementan tecnologías de inteligencia artificial para automatizar el proceso de detección y eliminación de contenido no deseado. Pero lo están haciendo sin supervisión y con poca información pública sobre cómo funcionan estos sistemas de IA. un problema identificado en un informe reciente del Foro de Políticas Públicas.

Gorjeo, según su informe de transparencia más reciente, afirma que usó inteligencia artificial para derribar más de 300, 000 cuentas relacionadas con el terrorismo en el primer semestre de 2017.

El propio Facebook reconoce que está luchando por utilizar la inteligencia artificial de manera eficiente en cuestiones relacionadas con el discurso de odio. El director ejecutivo, Mark Zuckerberg, dijo a los miembros del Congreso de los Estados Unidos a principios de este año que la IA todavía lucha por abordar los matices de los dialectos del idioma:contexto y si una declaración califica o no como discurso de odio, y que podría llevar años resolverlo.

Sin embargo, la compañía también afirma poder eliminar el 99 por ciento del contenido afiliado a ISIS y al-Qaida utilizando algoritmos impulsados ​​por inteligencia artificial y moderadores de contenido humano. Aún no se ha investigado de forma independiente si la inteligencia artificial o los humanos son la clave de las afirmaciones de éxito de la compañía.

El fracaso de la IA

En 2017, 250 empresas suspendieron los contratos publicitarios con Google por su presunta falta de moderación del contenido extremista de YouTube. Un año después, Vicepresidente senior de publicidad y comercio de Google, Sridhar Ramaswamy, dice que la compañía está logrando grandes avances en la seguridad de la plataforma para recuperar la confianza perdida de sus clientes.

Sin embargo, un estudio reciente de la ONG Counter Extremism Project refuta la efectividad del esfuerzo de la compañía para limitar y eliminar videos extremistas. Se necesita más transparencia y responsabilidad de YouTube, dado que el estudio encontró que más del 90 por ciento de los videos de ISIS se subieron más de una vez, sin que se tomen medidas contra las cuentas que violaron los términos de servicio de la empresa.

Claramente, no hay un camino sencillo a seguir. Eliminar contenido que no sea dañino, ofensiva, extremista o ilegal, incluso si es de mal gusto, es un impedimento para la libertad de expresión. En algunos casos, El uso de IA para eliminar contenido ha bloqueado material legítimo publicado por defensores de los derechos humanos.

Por ejemplo, en 2017, Shah Hossain, Un activista de derechos humanos descubrió que se había eliminado un número significativo de sus publicaciones de Facebook sobre la persecución de la minoría rohingya en Myanmar. YouTube también borró su canal de noticias, que tenía casi 80, 000 suscriptores. Hossain estaba documentando abusos contra los derechos humanos, sin abrazar el odio.

En Siria, donde el periodismo independiente está severamente restringido por la guerra, Los videos y fotos publicados en línea por activistas son cruciales para comprender la situación en el país. En un intento de reprimir el contenido extremista, sin embargo, Los algoritmos impulsados ​​por inteligencia artificial de YouTube eliminaron miles de videos de atrocidades contra civiles. Los videos se publicaron como prueba del eventual enjuiciamiento de funcionarios sirios por crímenes de lesa humanidad. Esto es bastante preocupante.

Avanzando

Gigantes conocidos de las redes sociales han dicho públicamente que pondrán más recursos para vigilar sus plataformas. Sin embargo, dados los resultados actuales, es hora de considerar si este enfoque es ético y eficaz.

El Reino Unido, Francia, Alemania, la Unión Europea y los Estados Unidos, entre otros, han comenzado a discutir e implementar abiertamente medidas regulatorias en la industria de la tecnología, no solo en relación con el terrorismo y el discurso de odio, sino también interferencia electoral digital, la difusión de "noticias falsas" y campañas de desinformación.

Canadá también ha comenzado a tomarse el problema en serio, formando el Laboratorio de Inclusión Digital en Global Affairs Canada, que trabaja para fortalecer los esfuerzos combinados del G7.

Estas son iniciativas muy necesarias. Los grandes gigantes tecnológicos han estado exagerando la efectividad de la IA para contrarrestar el odio en sus plataformas. Nuestras sociedades democráticas y abiertas deben dejar de lado la noción de que la IA es la panacea para el problema que nos ocupa. La polarización social y la creciente desconfianza en todo el planeta continuarán a menos que los funcionarios electos regulen Big Tech.

Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.