Los tweets que se cree que están escritos por afroamericanos tienen muchas más probabilidades de ser etiquetados como discurso de odio que los tweets asociados con blancos. según un estudio de Cornell que analiza cinco colecciones de datos de Twitter marcados por lenguaje abusivo.

Los cinco conjuntos de datos, compilado por académicos para la investigación, mostró parcialidad contra los usuarios de Twitter que se cree que son afroamericanos. Aunque las empresas de redes sociales, incluido Twitter, probablemente no utilicen estos conjuntos de datos para sus propios sistemas de detección de discursos de odio, la coherencia de los resultados sugiere que un sesgo similar podría estar generalizado.

"Encontramos coherente, prejuicios raciales sistemáticos y sustanciales, "dijo Thomas Davidson, un candidato a doctorado en sociología y primer autor de "Racial Bias in Hate Speech and Abusive Language Datasets, "que se presentó en la Reunión Anual de la Asociación de Lingüística Computacional, 28 de julio-agosto 2 en Florencia, Italia.

"Estos sistemas se están desarrollando para identificar el lenguaje que se utiliza para dirigirse a poblaciones marginadas en línea, "Es extremadamente preocupante si los mismos sistemas discriminan a la población que están diseñados para proteger", dijo Davidson.

A medida que los gigantes de Internet recurren cada vez más a la inteligencia artificial para señalar contenido de odio en medio de millones de publicaciones, La preocupación por el sesgo en los modelos de aprendizaje automático va en aumento. Debido a que el sesgo a menudo comienza en los datos utilizados para entrenar estos modelos, los investigadores buscaron evaluar conjuntos de datos que se crearon para ayudar a comprender y clasificar el discurso de odio.

Para realizar su análisis, seleccionaron cinco conjuntos de datos, uno de los cuales Davidson ayudó a desarrollar en Cornell, que consta de 270, 000 publicaciones de Twitter. Los cinco habían sido anotados por humanos para marcar el lenguaje abusivo o el discurso de odio.

Para cada conjunto de datos, los investigadores entrenaron un modelo de aprendizaje automático para predecir el discurso de odio u ofensivo.

Luego utilizaron una sexta base de datos de más de 59 millones de tweets, emparejados con datos del censo e identificados por ubicación y palabras asociadas con datos demográficos particulares, para predecir la probabilidad de que un tweet haya sido escrito por alguien de cierta raza.

Aunque su análisis no pudo predecir de manera concluyente la raza del autor de un tweet, clasificó los tweets en "alineados en negro" y "alineados en blanco, "reflejando el hecho de que contenían lenguaje asociado con cualquiera de esos datos demográficos.

En los cinco casos, los algoritmos clasificaron los posibles tweets afroamericanos como sexismo, El discurso del odio, acoso o abuso a tasas mucho más altas que los tweets que se cree que están escritos por blancos; en algunos casos, más del doble de frecuencia.

Los investigadores creen que la disparidad tiene dos causas:un sobremuestreo de los tweets de los afroamericanos cuando se crean las bases de datos; y capacitación inadecuada para las personas que anotan tweets por contenido potencial de odio.

"Cuando nosotros, como investigadores, o las personas a las que pagamos en línea para que realicen anotaciones colaborativas, mira estos tweets y tienes que decidir, "¿Es esto odioso o no odioso?" podemos ver un lenguaje escrito en lo que los lingüistas consideran inglés afroamericano y es más probable que pensemos que es algo ofensivo debido a nuestros propios prejuicios internos, ", Dijo Davidson. Queremos que las personas que anotan datos sean conscientes de los matices del discurso en línea y que sean muy cuidadosos con lo que están considerando el discurso del odio".