Mientras las familias de Christchurch entierran a sus seres queridos tras el ataque terrorista del viernes, La atención mundial se centra ahora en evitar que algo así vuelva a suceder.

En particular, el papel que desempeñaron las redes sociales en la transmisión de imágenes en vivo y la amplificación de su alcance está bajo el microscopio. Facebook y YouTube enfrentan un escrutinio intenso.

Según los informes, la primera ministra de Nueva Zelanda, Jacinta Ardern, se ha puesto en contacto con ejecutivos de Facebook para insistir en que las imágenes no deberían estar disponibles para su visualización. El primer ministro australiano, Scott Morrison, ha pedido una moratoria sobre los servicios de transmisión en vivo de aficionados.

Pero más allá de estas respuestas inmediatas, este terrible incidente presenta una oportunidad para una reforma a más largo plazo. Es hora de que las plataformas de redes sociales sean más abiertas sobre cómo funciona la transmisión en vivo, cómo se modera, y qué debería suceder si o cuando las reglas se rompen.

Mayor escrutinio

Con el presunto autor aparentemente volando bajo el radar antes de este incidente en Christchurch, nuestro enfoque colectivo ahora se centra en la radicalización en línea de los hombres jóvenes.

Como parte de eso, Las plataformas en línea enfrentan un mayor escrutinio y Facebook y Youtube han recibido críticas.

Después de la difusión de la transmisión en vivo original en Facebook, YouTube se convirtió en un lugar para volver a cargar y propagar las imágenes grabadas.

Ambas plataformas han hecho declaraciones públicas sobre sus esfuerzos de moderación.

YouTube señaló los desafíos de lidiar con un "volumen sin precedentes" de cargas.

Aunque se ha informado que menos de 4000 personas vieron la transmisión inicial en Facebook, Facebook dijo:"En las primeras 24 horas eliminamos 1,5 millones de videos del ataque en todo el mundo, de los cuales más de 1,2 millones se bloquearon en la carga […] "

Centrarse principalmente en la transmisión en vivo es algo reductor. Aunque el tirador inicialmente transmitió sus propias imágenes, El mayor desafío de controlar el video se relaciona en gran medida con dos cuestiones:

1. el tiempo que estuvo disponible en la plataforma de Facebook antes de que fuera eliminado
2. la moderación de la publicación de videos "espejo" por parte de las personas que habían optado por descargar, editar, y volver a subir el video para sus propios fines.

Estos problemas ilustran las debilidades de las políticas y prácticas de moderación de contenido existentes.

No es una tarea fácil

La moderación del contenido es una responsabilidad compleja y poco envidiable. Se espera que plataformas como Facebook y YouTube equilibren las virtudes de la libertad de expresión y el interés periodístico con las normas socioculturales y los deseos personales. así como los regímenes regulatorios locales de los países en los que operan.

Cuando las plataformas no cumplen con esta responsabilidad (o, abdicar por completo) pasan la tarea a otros, como los proveedores de servicios de Internet de Nueva Zelanda que bloquearon el acceso a sitios web que estaban redistribuyendo las imágenes del tirador.

La gente podría esperar razonablemente que plataformas como Facebook y YouTube tengan controles exhaustivos sobre lo que se carga en sus sitios. Sin embargo, La enorme base de usuarios de las empresas significa que a menudo deben equilibrar la aplicación de sistemas algorítmicos para la moderación de contenido (como PhotoDNA de Microsoft, y ContentID de YouTube) con equipos de moderadores humanos.

Sabemos por los informes de investigación que los equipos de moderación en plataformas como Facebook y YouTube tienen la tarea de un trabajo particularmente desafiante. Parecen tener una rotación relativamente alta de personal que se agota rápidamente por cargas de trabajo severas mientras moderan el peor contenido en Internet. Se sostienen con salarios escasos, y lo que podría considerarse una atención de salud mental inadecuada.

Y aunque algunos sistemas algorítmicos pueden ser eficaces a escala, también pueden ser subvertidos por usuarios competentes que comprenden aspectos de su metodología. Si alguna vez ha encontrado un video en YouTube donde los colores están distorsionados, la reproducción de audio está ligeramente desincronizada, o la imagen está muy ampliada y recortada, Es probable que haya visto el intento de alguien de sortear los algoritmos ContentID.

Para plataformas en línea, La respuesta a los ataques terroristas se complica aún más por el difícil equilibrio que deben lograr entre su deseo de proteger a los usuarios de imágenes gratuitas o espantosas y su compromiso de informar a las personas que buscan noticias a través de su plataforma.

También debemos reconocer las otras formas de transmisión en vivo que se presentan en la vida moderna. Livestreaming es una lucrativa industria del entretenimiento, con miles de usuarios inocentes transmitiendo pasatiempos con amigos, desde juegos de mesa hasta mukbang (comida social), a los videojuegos. La transmisión en vivo es importante para los activistas en países autoritarios, permitiéndoles compartir imágenes de crímenes de testigos presenciales, y cambiar las relaciones de poder. La prohibición de la transmisión en vivo evitaría gran parte de esta actividad.

Necesitamos un nuevo enfoque

Los desafíos de Facebook y YouTube para abordar el problema de los delitos de odio transmitidos en vivo nos dicen algo importante. Necesitamos una más abierta enfoque transparente a la moderación. Las plataformas deben hablar abiertamente sobre cómo se realiza este trabajo, y estar preparados para incorporar la retroalimentación de nuestros gobiernos y la sociedad de manera más amplia.

Un buen lugar para comenzar son los principios de Santa Clara, generado inicialmente a partir de una conferencia de moderación de contenido celebrada en febrero de 2018 y actualizado en mayo de 2018. Estos ofrecen una base sólida para la reforma, declarando:

• Las empresas deben publicar el número de publicaciones eliminadas y las cuentas suspendidas de forma permanente o temporal debido a infracciones de sus directrices de contenido.
• las empresas deben notificar a cada usuario cuyo contenido se elimine o se suspenda la cuenta sobre el motivo de la eliminación o suspensión
• las empresas deben brindar una oportunidad significativa para apelar oportunamente cualquier eliminación de contenido o suspensión de la cuenta.

Un enfoque más socialmente responsable de los roles de las plataformas como moderadores del discurso público requiere un alejamiento de los secretos de caja negra a los que están acostumbradas las plataformas, y un movimiento hacia discusiones públicas más exhaustivas sobre la moderación del contenido.

En el final, una mayor transparencia puede facilitar un panorama político menos reactivo, donde tanto las políticas públicas como la opinión tengan un mayor conocimiento de las complejidades de la gestión de nuevas e innovadoras tecnologías de la comunicación.

Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.