Los usuarios de las redes sociales pueden confiar tanto en la inteligencia artificial (IA) como en los editores humanos para señalar el discurso de odio y el contenido dañino, según investigadores de Penn State.

Los investigadores dijeron que cuando los usuarios piensan en los atributos positivos de las máquinas, como su precisión y objetividad, muestran más fe en la IA. Sin embargo, si se les recuerda a los usuarios la incapacidad de las máquinas para tomar decisiones subjetivas, su confianza es menor.

Los hallazgos pueden ayudar a los desarrolladores a diseñar mejores sistemas de curación de contenido impulsados ​​por IA que puedan manejar las grandes cantidades de información que se generan actualmente y evitar la percepción de que el material ha sido censurado o clasificado incorrectamente, dijo S. Shyam Sundar, profesor de James P. Jimirro. de Media Effects en la Facultad de Comunicaciones Donald P. Bellisario y codirectora del Laboratorio de Investigación de Media Effects.

"Existe una necesidad imperiosa de moderación de contenido en las redes sociales y, en general, en los medios en línea", dijo Sundar, quien también es afiliado del Instituto de Ciencias Computacionales y de Datos de Penn State. "En los medios tradicionales, tenemos editores de noticias que sirven como guardianes. Pero en línea, las puertas están muy abiertas y el control no es necesariamente factible para los humanos, especialmente con el volumen de información que se genera. Entonces, con la industria cada vez más moviéndose hacia soluciones automatizadas, este estudio analiza la diferencia entre moderadores de contenido humanos y automatizados, en términos de cómo las personas responden a ellos".

Tanto los editores humanos como los de IA tienen ventajas y desventajas. Los humanos tienden a evaluar con mayor precisión si el contenido es dañino, como cuando es racista o potencialmente podría provocar autolesiones, según Maria D. Molina, profesora asistente de publicidad y relaciones públicas, Michigan State, quien es la primera autora del estudio. . Sin embargo, las personas no pueden procesar la gran cantidad de contenido que ahora se genera y comparte en línea.

Por otro lado, mientras que los editores de IA pueden analizar rápidamente el contenido, las personas a menudo desconfían de estos algoritmos para hacer recomendaciones precisas y temen que la información pueda ser censurada.

“Cuando pensamos en la moderación automática de contenido, surge la pregunta de si los editores de inteligencia artificial están afectando la libertad de expresión de una persona”, dijo Molina. "Esto crea una dicotomía entre el hecho de que necesitamos la moderación del contenido, porque las personas comparten todo este contenido problemático y, al mismo tiempo, las personas están preocupadas por la capacidad de la IA para moderar el contenido. Entonces, en última instancia, queremos saber cómo podemos construir moderadores de contenido de IA en los que las personas puedan confiar de una manera que no afecte la libertad de expresión".

Transparencia y transparencia interactiva

Según Molina, unir a las personas y la IA en el proceso de moderación puede ser una forma de construir un sistema de moderación confiable. Agregó que la transparencia, o señalar a los usuarios que una máquina está involucrada en la moderación, es un enfoque para mejorar la confianza en la IA. Sin embargo, permitir que los usuarios ofrezcan sugerencias a las IA, a lo que los investigadores se refieren como "transparencia interactiva", parece aumentar aún más la confianza de los usuarios.

Para estudiar la transparencia y la transparencia interactiva, entre otras variables, los investigadores reclutaron a 676 participantes para interactuar con un sistema de clasificación de contenido. Los participantes fueron asignados aleatoriamente a una de las 18 condiciones experimentales, diseñadas para probar cómo la fuente de moderación (IA, humana o ambas) y la transparencia (regular, interactiva o sin transparencia) podrían afectar la confianza del participante en los editores de contenido de IA. Los investigadores probaron las decisiones de clasificación, si el contenido se clasificó como "marcado" o "no marcado" por ser dañino u odioso. El contenido de la prueba "dañino" se ocupaba de la ideación suicida, mientras que el contenido de la prueba "odioso" incluía el discurso de odio.

Entre otros hallazgos, los investigadores encontraron que la confianza de los usuarios depende de si la presencia de un moderador de contenido de IA invoca atributos positivos de las máquinas, como su precisión y objetividad, o atributos negativos, como su incapacidad para emitir juicios subjetivos sobre matices en humanos. idioma.

Brindarles a los usuarios la oportunidad de ayudar al sistema de IA a decidir si la información en línea es dañina o no, también puede aumentar su confianza. Los investigadores dijeron que los participantes del estudio que agregaron sus propios términos a los resultados de una lista de palabras seleccionadas por IA usadas para clasificar publicaciones confiaron en el editor de IA tanto como confiaron en un editor humano.

Preocupaciones éticas

Sundar dijo que liberar a los humanos de revisar el contenido va más allá de darles a los trabajadores un respiro de una tarea tediosa. La contratación de editores humanos para la tarea significa que estos trabajadores están expuestos a horas de imágenes y contenido de odio y violencia, dijo.

"Existe una necesidad ética de moderación de contenido automatizada", dijo Sundar, quien también es director del Centro de Inteligencia Artificial Socialmente Responsable de Penn State. "Existe la necesidad de proteger a los moderadores de contenido humano, que obtienen un beneficio social cuando hacen esto, de la exposición constante a contenido dañino día tras día".

Según Molina, el trabajo futuro podría analizar cómo ayudar a las personas no solo a confiar en la IA, sino también a comprenderla. La transparencia interactiva también puede ser una parte clave para comprender la IA, agregó.

"Algo que es realmente importante no es solo la confianza en los sistemas, sino también involucrar a las personas de una manera que realmente entiendan la IA", dijo Molina. "¿Cómo podemos usar este concepto de transparencia interactiva y otros métodos para ayudar a las personas a comprender mejor la IA? ¿Cómo podemos presentar mejor la IA para que invoque el equilibrio correcto de apreciación de la capacidad de la máquina y escepticismo sobre sus debilidades? Estas preguntas merecen investigación ."

Los investigadores presentan sus hallazgos en el número actual del Journal of Computer-Mediated Communication . + Explora más

Moderar el contenido en línea aumenta la responsabilidad, pero puede perjudicar a algunos usuarios de la plataforma