Los investigadores de Caltech han demostrado que los algoritmos de aprendizaje automático pueden monitorear las conversaciones de las redes sociales en línea a medida que evolucionan. lo que algún día podría conducir a una forma eficaz y automatizada de detectar el trolling en línea.

El proyecto une a los laboratorios de investigación de inteligencia artificial (IA) Anima Anandkumar, Bren Profesor de Computación y Ciencias Matemáticas, y Michael Alvarez, profesor de ciencias políticas. Su trabajo fue presentado el 14 de diciembre en el taller AI for Social Good en la Conferencia de 2019 sobre sistemas de procesamiento de información neuronal en Vancouver. Canadá. Su equipo de investigación incluye a Anqi Liu, becario postdoctoral; Maya Srikanth, un junior en Caltech; y Nicholas Adams-Cohen (MS '16, Doctor. '19) de la Universidad de Stanford.

"Esta es una de las cosas que me encantan de Caltech:la capacidad de cruzar fronteras, desarrollar sinergias entre las ciencias sociales y, en este caso, Ciencias de la Computación, "Dice Álvarez.

La prevención del acoso en línea requiere la detección rápida de contenido ofensivo, acoso y publicaciones negativas en las redes sociales, lo que a su vez requiere monitorear las interacciones en línea. Los métodos actuales para obtener dichos datos de las redes sociales son completamente automatizados y no se pueden interpretar o se basan en un conjunto estático de palabras clave. que puede quedar obsoleto rápidamente. Ninguno de los métodos es muy eficaz, según Srikanth.

"No es escalable que los humanos intenten hacer este trabajo a mano, y esos humanos están potencialmente sesgados, ", dice." Por otro lado, La búsqueda de palabras clave se ve afectada por la velocidad a la que evolucionan las conversaciones en línea. Surgen nuevos términos y los viejos cambian de significado, por lo que una palabra clave que se utilizó con sinceridad un día podría significar sarcásticamente al siguiente ".

En lugar de, el equipo utilizó un modelo GloVe (Vectores globales para representación de palabras) para descubrir palabras clave nuevas y relevantes. GloVe es un modelo de incrustación de palabras, lo que significa que representa palabras en un espacio vectorial, donde la "distancia" entre dos palabras es una medida de su similitud lingüística o semántica. Comenzando con una palabra clave, este modelo se puede utilizar para encontrar otros que estén estrechamente relacionados con esa palabra para revelar grupos de términos relevantes que están realmente en uso. Por ejemplo, buscar en Twitter los usos de "MeToo" en las conversaciones arrojó grupos de hashtags relacionados, como "SupportSurvivors, " "Estoy con ella, "y" NotSilent ". Este enfoque ofrece a los investigadores un conjunto de palabras clave dinámico y en constante evolución para realizar búsquedas.

Pero no basta con saber si una determinada conversación está relacionada con el tema de interés; el contexto importa. Para eso, GloVe muestra hasta qué punto están relacionadas determinadas palabras clave, proporcionando información sobre cómo se están utilizando. Por ejemplo, en un foro de Reddit en línea dedicado a la misoginia, la palabra "mujer" se usó en estrecha asociación con las palabras "sexual, "" negativo, "y" coito ". En las publicaciones de Twitter sobre el movimiento #MeToo, era más probable que la palabra "mujer" se asociara con los términos "empresas, " "deseo, "y" víctimas ".

El proyecto fue una prueba de concepto destinada a brindar algún día a las plataformas de redes sociales una herramienta más poderosa para detectar el acoso en línea. El interés de Anandkumar en el tema se intensificó por su participación en la campaña para cambiar el nombre abreviado de la conferencia Neural Information Processing Systems de su acrónimo original, "NIPS, "a" NeurIPS ".

"El campo de la investigación de la IA es cada vez más inclusivo, pero siempre hay gente que se resiste al cambio, "dice Anandkumar, quien en 2018 fue objeto de acoso y amenazas en línea debido a su exitoso esfuerzo por cambiar a un acrónimo sin connotaciones potencialmente ofensivas. "Fue una experiencia reveladora sobre lo feo que puede llegar a ser el trolling. Con suerte, las herramientas que estamos desarrollando ahora ayudarán a combatir todo tipo de acoso en el futuro ".

Su estudio se titula "Encontrar trolls en las redes sociales:métodos dinámicos de selección de palabras clave para debates en línea que evolucionan rápidamente".