No es difícil imaginar a un robot marcando la pintura icónica del artista Georgia O'Keeffe "Líneas grises con negro, Azul y amarillo "(en la foto de la Tate Modern) como contenido para adultos. Rob Stothard / Getty Images La plataforma Tumblr ha decidido no permitir más contenido para adultos. La prohibición entra en vigor el 17 de diciembre de 2018, y para hacerla cumplir, Tumblr parece haber implementado un bot que es singularmente malo en su trabajo, marcar contenido inocente como de naturaleza pornográfica y hacer que tanto los usuarios como los expertos en tecnología se pregunten por qué el bot es tan malo en lo que hace. Parte de la respuesta es que la moderación con inteligencia artificial es una tarea extremadamente difícil.
Muchas de las sutilezas involucradas en decidir qué contenido consideramos aceptable u objetable deben escribirse en piedra, y nuestro historial de hacerlo no es tan bueno. De hecho, tenemos problemas para identificar algo como pornográfico en primer lugar. El difunto juez de la Corte Suprema de Estados Unidos, Potter Stewart, resumió el sentimiento en un fallo sobre un caso de obscenidad (Jacobellis v. Ohio) con la frase "Lo sé cuando lo veo".
Ese sentimiento ha demostrado ser tan vago en la práctica como en el significado. Aquí hay un ejemplo:una foto de un hombre con una erección debe ser lasciva por naturaleza, ¿Derecha? Pero, ¿y si esto es una ilustración médica del priapismo? una condición a menudo dolorosa que causa una erección prolongada, y aparece en un sitio médico? Si alguna representación de una vulva es obscena, ¿Eso significa el trabajo de la artista Georgia O'Keeffe, cuyas pinturas de flores a menudo se cree que son metáforas visuales de la anatomía femenina, necesita ser señalado en artículos de historia del arte?
Las redes sociales y las plataformas de contenido se encuentran con estas situaciones todo el tiempo. Por ejemplo, en un incidente de relaciones públicas importante en 2016, Facebook censuró la foto ganadora del premio Pulitzer de Kim Phuc, de 9 años, desnudo, corriendo aterrorizado por un ataque con napalm durante la Guerra de Vietnam; la foto fue publicada por el periódico más destacado de Noruega para un artículo relevante sobre la guerra. Por el contrario, Los usuarios de Twitter no pudieron persuadir a esa plataforma para que cerrara las cuentas neonazis hasta finales de 2017. Con diferentes filosofías y aparentemente arbitrarias, reglas libres de contexto que pueden confundir incluso a moderadores humanos, No es de extrañar que los algoritmos tengan problemas para determinar qué marcar.
El sistema de Tumblr parece estar buscando una cantidad de lo que ve como piel expuesta en las imágenes, o formas que cree que pueden ser pezones o genitales. Desafortunadamente, muchos primeros planos benignos de partes no erógenas del cuerpo humano superan el umbral de la cantidad de carne desnuda que muestra una imagen, como señaló Dan Fallon escribiendo para Digg. Ciertos objetos como los árboles también pueden parecer fálicos. Y en un caso aparentemente inexplicable, Fallon escribió, Las imágenes muy inocentes de la naturaleza de un fotógrafo de paisajes fueron marcadas como problemáticas, también. Esta, sin embargo, no es inusual para tales algoritmos. Otras iteraciones de censores-bots han marcado imágenes de dunas y playas porque el color de la arena era similar al color de la piel según sus conjuntos de datos de entrenamiento.
Este error sistemático también tiene sentido cuando se considera cuántos tonos de piel tenemos los humanos. Los colores, desde un beige claro hasta casi negro, se producen de forma natural, y dependiendo de cómo se entrena una IA o se calibra un sensor, puede que no comprenda que existen colores de piel más oscuros. Como resultado, un algoritmo entrenado para detectar y censurar imágenes pornográficas con artistas caucásicos podría no ser capaz de marcar imágenes igualmente explícitas con modelos de piel oscura. Una de las soluciones fáciles para eso es compensar en exceso, marcar todo y justificar los falsos positivos como algo mejor que no captar suficiente contenido para adultos, que es lo que Tumblr parece haber hecho en la lucha por desinfectar su contenido. Tumblr no respondió solicitudes de comentarios sobre si había una capa adicional a su moderación.
Por último, Queda por ver si un algoritmo de censura demasiado entusiasta impulsará a los usuarios que no publican contenido para adultos desde la plataforma también. o si se marcará hacia abajo. Pero la excesiva publicidad y agresividad de Tumblr destaca algunas de las muchas dificultades para moderar los medios en línea. Entonces se seguirán cometiendo errores y hecho con frecuencia. Hasta que sepamos cómo abordar estas preocupaciones, los humanos deberán supervisar cualquier esfuerzo de moderación verdaderamente exitoso.
Eso es interesanteIncluso el gruñón Garfield fue expulsado de Tumblr en el barrido inicial, como señalan numerosos artículos.
