Las redes sociales nos permitieron conectarnos entre nosotros como nunca antes. Pero tuvo un precio:entregó un megáfono a todos, incluidos los terroristas, los abusadores de niños y los grupos de odio. Las instituciones de la UE llegaron recientemente a un acuerdo sobre la Ley de Servicios Digitales (DSA), cuyo objetivo es "asegurarse de que lo que es ilegal fuera de línea se trate como ilegal en línea".

El gobierno del Reino Unido también está preparando un proyecto de ley de seguridad en línea para aumentar los requisitos de las plataformas digitales para eliminar material ilegal.

La escala a la que operan las grandes plataformas de redes sociales (pueden tener miles de millones de usuarios de todo el mundo) presenta un gran desafío en la vigilancia del contenido ilegal. Lo que es ilegal en un país puede ser expresión legal y protegida en otro. Por ejemplo, reglas sobre criticar al gobierno o miembros de una familia real.

Esto se complica cuando un usuario publica desde un país y la publicación se comparte y se ve en otros países. Dentro del Reino Unido, incluso ha habido situaciones en las que era legal imprimir algo en la portada de un periódico en Escocia, pero no en Inglaterra.

La DSA deja que los estados miembros de la UE definan el contenido ilegal en sus propias leyes.

El enfoque de la base de datos

Incluso donde la ley es clara, por ejemplo, alguien que publica drogas controladas para la venta o recluta para grupos terroristas prohibidos, la moderación de contenido en las plataformas de redes sociales enfrenta desafíos de escala.

Los usuarios hacen cientos de millones de publicaciones por día. La automatización puede detectar contenido ilegal conocido basándose en una huella digital borrosa del contenido del archivo. Pero esto no funciona sin una base de datos y el contenido debe revisarse antes de agregarlo.

En 2021, Internet Watch Foundation investigó más informes que en sus primeros 15 años de existencia, incluidos 252 000 que contenían abuso infantil:un aumento interanual del 64 % en comparación con 2020.

Sin embargo, los nuevos videos e imágenes no serán capturados por una base de datos. Si bien la inteligencia artificial puede intentar buscar contenido nuevo, no siempre lo hará bien.

¿Cómo se comparan las plataformas sociales?

A principios de 2020, se informó que Facebook tenía alrededor de 15 000 moderadores de contenido en los EE. UU., en comparación con los 4500 de 2017. TikTok afirmó tener 10 000 personas trabajando en "confianza y seguridad" (que es un poco más amplio que la moderación de contenido), últimamente 2020. Un informe de la Escuela de Negocios Stern de la NYU de 2020 sugirió que Twitter tenía alrededor de 1500 moderadores.

Facebook afirma que en 2021, la IA eliminó el 97 % del contenido que marcaron como incitación al odio, pero no sabemos qué se perdió, no se informó o no se eliminó.

La DSA hará que las redes sociales más grandes abran sus datos e información a investigadores independientes, lo que debería aumentar la transparencia.

Moderadores humanos vs tecnología

Revisar contenido violento, perturbador, racista y lleno de odio puede ser traumático para los moderadores y condujo a un acuerdo judicial de 52 millones de dólares (42 millones de libras esterlinas). Algunos moderadores de redes sociales informan que tienen que revisar hasta 8000 piezas de contenido marcado por día.

Si bien existen técnicas emergentes basadas en IA que intentan detectar tipos específicos de contenido, las herramientas basadas en IA luchan por distinguir entre contenido ilegal y desagradable o potencialmente dañino (pero legal). La IA puede marcar incorrectamente contenido inofensivo, pasar por alto contenido dañino y aumentar la necesidad de revisión humana.

Según los informes, los propios estudios internos de Facebook encontraron casos en los que se tomaron medidas incorrectas contra las publicaciones hasta "el 90% de las veces". Los usuarios esperan coherencia, pero esto es difícil de lograr a gran escala, y las decisiones de los moderadores son subjetivas. Los casos de áreas grises frustrarán incluso las pautas más específicas y prescriptivas.

Acto de equilibrio

El desafío también se extiende a la desinformación. Hay una delgada línea entre proteger la libertad de expresión y la libertad de prensa y evitar la difusión deliberada de contenido falso. Los mismos hechos a menudo se pueden enmarcar de manera diferente, algo bien conocido por cualquiera que esté familiarizado con la larga historia de "giro" en la política.

Las redes sociales a menudo dependen de que los usuarios reporten contenido dañino o ilegal, y la DSA busca reforzar esto. Pero un enfoque de moderación excesivamente automatizado podría marcar o incluso ocultar contenido que llega a un número determinado de informes. Esto significa que los grupos de usuarios que desean suprimir el contenido o los puntos de vista pueden utilizar como arma la información masiva sobre el contenido.

Las empresas de redes sociales se centran en el crecimiento de los usuarios y el tiempo que pasan en la plataforma. Siempre que el abuso no detenga ninguno de estos, es probable que ganen más dinero. Por eso es importante cuando las plataformas toman medidas estratégicas (pero potencialmente polarizadoras), como eliminar al expresidente estadounidense Donald Trump de Twitter.

La mayoría de las solicitudes realizadas por la DSA son razonables en sí mismas, pero serán difíciles de implementar a escala. Una mayor vigilancia del contenido conducirá a un mayor uso de la automatización, que no puede hacer evaluaciones subjetivas del contexto. Las apelaciones pueden ser demasiado lentas para ofrecer un recurso significativo si un usuario recibe una prohibición automática por error.

Si las sanciones legales por una moderación incorrecta del contenido son lo suficientemente altas para las redes sociales, es posible que se enfrenten a pocas opciones en el corto plazo, aparte de limitar más cuidadosamente lo que se muestra a los usuarios. El enfoque de TikTok sobre el contenido seleccionado a mano fue muy criticado. Los sesgos de plataforma y las "burbujas de filtro" son una preocupación real. Se crean burbujas de filtro donde el contenido que se le muestra se selecciona automáticamente mediante un algoritmo, que intenta adivinar lo que desea ver a continuación, en función de datos como lo que ha visto anteriormente. Los usuarios a veces acusan a las empresas de redes sociales de sesgo de plataforma o moderación injusta.

¿Hay alguna manera de moderar un megáfono global? Diría que la evidencia apunta a que no, al menos no a escala. Es probable que veamos la respuesta a través de la aplicación de la DSA en los tribunales.