La predicción de texto moderna está lejos de ser perfecta; tome, por ejemplo, cuando una consulta de búsqueda sugiere algo completamente diferente de su intención. Pero el problema no termina en la inexactitud. La predicción de texto también puede ser extremadamente exclusiva o sesgada cuando se trata de predecir resultados relacionados con comunidades marginadas.

Un equipo de investigadores del Instituto de Ciencias de la Información de la Escuela de Ingeniería Viterbi de la USC y la Escuela Annenberg de Comunicación y Periodismo de la USC, dirigido por Katy Felkner, Ph.D. de la USC Viterbi. estudiante de informática y becaria de investigación de posgrado de la Fundación Nacional de Ciencias, ha desarrollado un sistema para cuantificar y corregir el sesgo anti-queer en la inteligencia artificial detrás de la predicción de texto.

El proyecto, presentado por Felkner en el taller Queer in AI en la conferencia North American Chapter of the Association for Computational Linguistics (NAACL) en julio, analiza tanto la detección como la reducción del sesgo anti-queer en un modelo de lenguaje grande, que se utiliza en todo, desde barras de búsqueda hasta sistemas de traducción de idiomas.

El modelo de lenguaje grande, o LLM, es el "cerebro" detrás de la predicción de texto que aparece cuando escribimos algo en una barra de búsqueda:una inteligencia artificial que "completa" oraciones al predecir la cadena de palabras más probable que sigue a un mensaje determinado. .

Sin embargo, los LLM primero deben ser "entrenados" al recibir millones de ejemplos de contenido preescrito para que puedan aprender cómo se ven típicamente las oraciones. Como un niño enérgico, el LLM repite lo que escucha, y lo que escucha puede ser heteronormativo o incluso abiertamente discriminatorio.

"La mayoría de los LLM están capacitados en grandes cantidades de datos que se rastrean desde Internet", dijo Felkner. "Van a captar todo tipo de sesgo social que puedas imaginar que hay en la web".

Pocas palabras, gran efecto

El proyecto encontró que un LLM popular llamado BERT mostró un sesgo homofóbico significativo. Este sesgo se mide a través del punto de referencia de Felkner, que compara la probabilidad de que el LLM prediga oraciones heteronormativas versus oraciones que incluyen una relación queer.

"Un resultado heteronormativo es algo así como 'James tomó la mano de Mary' versus 'James tomó la mano de Tom'", dijo Felkner. "Ambas son oraciones válidas, pero el problema es que, en una amplia variedad de contextos, el modelo prefiere el resultado heteronormativo".

Si bien la diferencia es solo unas pocas palabras, el efecto está lejos de ser pequeño.

Los resultados previstos que hablan de personas queer de forma estereotipada pueden imponer los sesgos de los usuarios, y la falta de "experiencia" del modelo con voces queer puede hacer que se considere el lenguaje queer como obsceno.

"Un problema persistente para las personas queer es que muchas veces, las palabras que usamos para describirnos a nosotros mismos, o los insultos que se han reclamado, todavía se consideran obscenos o demasiado sexuales", dijo Felkner, quien también es representante de graduados de Queers. en el capítulo de Ingeniería, Ciencia y Tecnología (QuEST) de Out in STEM en la USC.

"Si una modelo marca rutinariamente estas palabras y luego estas publicaciones se eliminan de las plataformas o foros en los que están, estás silenciando a la comunidad queer".

Aportes de la comunidad

Para abordar este problema, Felkner le dio a BERT una puesta a punto al enviarle Tweets y artículos de noticias que contenían palabras clave LGBT+. Este contenido utilizado para "entrenar" BERT provino de dos bases de datos separadas creadas por Felkner, llamadas QueerTwitter y QueerNews.

Aunque el procesamiento del lenguaje requiere cantidades extremadamente grandes de datos (la base de datos de QueerTwitter contenía más de 2,3 millones de tuits), se encargó de seleccionar los hashtags que usaban principalmente las personas queer y trans, como #TransRightsareHumanRights.

A medida que el modelo fue expuesto a diferentes perspectivas y comunidades, se familiarizó más con el lenguaje y los problemas queer. Como resultado, era más probable que los representara en sus predicciones.

Después de ser entrenado con los datos nuevos y más inclusivos, el modelo mostró un sesgo significativamente menor. Los tweets de QueerTwitter resultaron ser los más efectivos de las dos bases de datos, reduciendo la prevalencia de resultados heteronormativos a casi la mitad de todas las predicciones.

"Creo que los resultados de QueerTwitter, que son más efectivos que los de QueerNews, hablan de la importancia de la participación directa de la comunidad, y que las voces queer y trans, y los datos de sus comunidades, serán los más valiosos para diseñar una tecnología que no los perjudique. ”, dijo Felkner. "We were excited about this finding because it's empirical proof of that intuition people already hold:that these communities should have an input in how technology is designed."

Going forward, the project will look to address bias that affects specific parts of the LGBT+ community, using more refined and targeted sets of data and more customized prompts for the model to work with—such as tackling harmful stereotypes around lesbians. Long term, Felkner hopes the project can be used to train other LLMs, help researchers test the fairness of their natural language processing, or even uncover completely new biases.

"We're dealing with how to fight against the tide of biased data to get an understanding of what 'unfair' looks like and how to test for and correct it, which is a problem both in general and for subcultures that we don't even know about," said Jonathan May, USC Viterbi research associate professor of computer science, Felkner's advisor and study co-author. "There's a lot of great ways to extend the work that Katy is doing." + Explora más

Queer young people in Australia face disproportionate challenges