Arquitectura de modelo de dos pasos:el primer paso realiza la detección de palabras basada en Faster R-CNN. El segundo paso realiza el reconocimiento de palabras utilizando un modelo totalmente convolucional con pérdida de CTC. Los dos modelos se entrenan de forma independiente. Crédito:Facebook
Cuando un meme va más allá de lo ridículo y cruza la línea hacia una ofensiva total, ¿Alguien se está ocupando de la tienda?
Saluda a Rosetta, que es un sistema de aprendizaje automático que ha sido diseñado para decir whoa. Facebook ha construido e implementado este sistema de aprendizaje automático. "Extrae texto de más de mil millones de imágenes públicas y fotogramas de video de Facebook e Instagram (en una amplia variedad de idiomas), a diario y en tiempo real, y lo introduce en un modelo de reconocimiento de texto que ha sido entrenado en clasificadores para comprender el contexto del texto y la imagen juntos ".
El reconocimiento del discurso del odio a través de la tecnología automática nunca es fácil y se vuelve más difícil con los tiempos. Rosetta puede aliviar la carga de tratar de asegurarse de que no se escape sin ser detectado. Rosetta es un sistema que puede determinar el contexto del texto y la imagen. juntos .
¿Qué significa eso? Entendiendo palabras, entender imágenes ... pero ahora entender texto en imagenes
Publicando en el sitio "Código de Facebook", Viswanath Sivakumar, Albert Gordo, y Manohar Paluri, describa los desafíos que atrajeron a una solución como Rosetta. Después de todo, las creatividades van más allá de los artículos tradicionales que se centran en el texto.
Dijeron que "una cantidad significativa de las fotos compartidas en Facebook e Instagram contienen texto en varias formas. Podría estar superpuesto a una imagen en un meme, o incrustado en una foto de un escaparate, cartel de la calle, o menú de restaurante. Teniendo en cuenta el gran volumen de fotos que se comparten cada día en Facebook e Instagram, la cantidad de idiomas admitidos en nuestra plataforma global, y las variaciones del texto, el problema de la comprensión del texto en imágenes es bastante diferente de los que resuelven los sistemas tradicionales de reconocimiento óptico de caracteres (OCR), que reconocen a los personajes pero no comprenden el contexto de la imagen asociada ".
OK, AI, ¿Podemos hablar de memes? Nuestras conversaciones tienen múltiples condimentos. Con Facebook, las imágenes con texto se publican todos los días, incluidos los memes. Rosetta está diseñada (1) para brindarles a los lectores de pantalla una forma de leer lo que está escrito en ellos (2) para asegurarse de que no contengan incitación al odio o infrinjan la política de contenido del sitio web,
Empresa rápida señaló que el sistema se ha aplicado principalmente a imágenes fijas, pero Rosetta apenas se está mojando los pies; esto va a profundizar más ". Facebook planea emplear cada vez más a Rosetta para extraer el significado del texto del video en todas sus aplicaciones, "a pesar de que la tecnología aún no está lista para abordar todos los videos.
Curiosamente, Empresa rápida Daniel Terdiman vio esto como un arma contra los memes, ya que ha habido una necesidad de herramientas efectivas en las que los servicios puedan confiar, para eliminar los memes que pueden ser dañinos, en contenido que de otro modo podría pasar desapercibido. "A todos nos encantan los memes, y la mayoría de nosotros probablemente hemos ayudado a difundirlos, pasando esa linda foto con el texto irónico a nuestros muchos amigos en Facebook, Gorjeo, y en otros lugares. Pero a veces los memes pueden ser dañinos difundir falsedades sobre personas u organizaciones ".
Simple y llanamente, el sistema Rosetta puede hacer un mejor trabajo de lo que era posible anteriormente "para comprender el texto dañino o falso utilizado en los memes que se extienden por Facebook e Instagram".
Mariella Moon en Engadget discutió cómo funciona, y "comienza detectando regiones rectangulares en imágenes que potencialmente contienen texto. Luego, utiliza una red neuronal convolucional para reconocer y transcribir lo que está escrito en esa región, incluso palabras que no están en inglés o alfabetos no latinos, "Moon dijo. Para entrenar el sistema, ella añadió, Facebook utilizó "una mezcla de imágenes públicas anotadas por humanos y máquinas".
¿Cuál es el estado de Rosetta en este momento? Jacob Kastrenakes, El borde :"Se dice que Rosetta está en vivo ahora, extrayendo texto de mil millones de imágenes y fotogramas de video por día en Facebook e Instagram ".
¿Que sigue? Rosetta no es perfecta; Facebook quiere acercarse a la perfección, aunque y tiene una lista de tareas pendientes. Moon dijo que la compañía planea seguir aumentando la cantidad de idiomas que puede entender y "mejorar la extracción de texto de los fotogramas de video".
¿Alguien tiene la sensación de que podría haber alguien que le envíe malas miradas a Rosetta a medida que se haga más conocida? Quizás. Cohen Coberly en TechSpot escribió, "Es casi seguro que Rosetta será una herramienta controvertida para ciertos miembros del público amante de los memes, pero tenemos la esperanza de que la tecnología resulte lo suficientemente inteligente como para distinguir entre contenido tonto pero inofensivo e imágenes verdaderamente ofensivas ".
Kastrenakes, El borde :"Dados los conocidos problemas de moderación de la empresa, un sistema que funcione bien y que pueda señalar automáticamente imágenes potencialmente problemáticas podría ser de gran ayuda ".
© 2018 Tech Xplore
