Nuevas herramientas que podrían usarse para detectar y contrarrestar automáticamente el abuso en las redes sociales, están siendo desarrollados por investigadores de la Universidad de Sheffield.

La investigación, dirigido por la profesora Kalina Bontcheva del Departamento de Ciencias de la Computación de la Universidad, está desarrollando nuevos métodos de inteligencia artificial (IA) y procesamiento del lenguaje natural (PNL) que podrían usarse para abordar de manera responsable el abuso y el discurso de odio en línea.

Lanzado en colaboración con Wendy Hui Kyong Chun de la Universidad Simon Fraser en Canadá, el proyecto está analizando los métodos de inteligencia artificial que se utilizan actualmente para detectar el abuso en línea y el discurso de odio en dos áreas; la industria del juego y los mensajes dirigidos a los políticos en las redes sociales.

Los investigadores del estudio tienen la intención de utilizar sus hallazgos para desarrollar nuevos algoritmos de IA que sean efectivos, justo e imparcial. Los sistemas serán sensibles al contexto y respetuosos de las diferencias lingüísticas dentro de las comunidades basadas en la raza, etnia, género y sexualidad.

Los investigadores examinarán los sesgos incrustados en los sistemas actuales de moderación de contenido que a menudo utilizan definiciones rígidas o determinaciones de lenguaje abusivo. Estos sistemas actuales a menudo crean paradójicamente nuevas formas de discriminación o prejuicios basados ​​en la identidad, incluido el sexo, género, etnia, cultura, religión, afiliación política u otros.

El equipo de investigación tiene como objetivo abordar estos efectos produciendo más sistemas dinámicos de detección.

Es más, el proyecto busca empoderar a los usuarios haciendo que las nuevas herramientas sean de código abierto, para que puedan integrarse en nuevas estrategias para abordar democráticamente el abuso y la incitación al odio en línea. También podrían utilizarse como parte de medidas de atención y respuesta basadas en la comunidad.

La profesora Kalina Bontcheva dijo:"Ha habido un enorme aumento en el nivel de abuso y discurso de odio en línea en los últimos años y esto ha dejado a los gobiernos y las plataformas de redes sociales luchando para lidiar con las consecuencias.

"Este gran aumento en el abuso y el discurso de odio en línea ha provocado la indignación pública entre las personas que exigen que los gobiernos y las empresas de redes sociales hagan más para abordar el problema, pero actualmente no existen procesos efectivos o técnicos que puedan abordar el problema de manera responsable o democrática.

"Estamos desarrollando métodos novedosos de inteligencia artificial y PNL para abordar el problema, al mismo tiempo que desarrollamos un programa sustancial de capacitación para académicos e investigadores de carrera temprana para desarrollar capacidad y experiencia en esta área clave de investigación".

El proyecto, IA responsable para la inclusión, Sociedades democráticas:un enfoque multidisciplinario para detectar y combatir el lenguaje abusivo en línea, está dirigido por la Universidad de Sheffield en colaboración con la Universidad Simon Fraser. Está financiado por Investigación e Innovación del Reino Unido (UKRI) como uno de los 10 proyectos del Reino Unido y Canadá para apoyar el desarrollo responsable de la IA. incluida la garantía de que todos los miembros de la sociedad confían en la IA y se benefician de ella.