Las personas con discapacidad visual usan las redes sociales como todos los demás, a menudo con la ayuda del software lector de pantalla. Pero esa tecnología se queda corta cuando encuentra memes, que no incluyen texto alternativo, o texto alternativo, para describir lo que se muestra en la imagen.

Para contrarrestar esto, investigadores de la Universidad Carnegie Mellon han desarrollado un método para identificar automáticamente memes y aplicar plantillas preescritas para agregar texto alternativo descriptivo, haciéndolos inteligibles a través de las tecnologías de asistencia existentes.

Los memes son imágenes que se copian y luego se superponen con ligeras variaciones de texto. A menudo son divertidos y transmiten una experiencia compartida, pero "si eres ciego, extrañas esa parte de la conversación, "dijo Cole Gleason, un doctorado estudiante en el Instituto de Interacción Humano-Computadora (HCII) de CMU.

"Es posible que los memes no parezcan el problema más importante, pero una parte vital de la accesibilidad es no elegir para las personas lo que merece su atención, "dijo Jeff Bigham, profesor asociado en el HCII. "Mucha gente usa memes, por lo que deberían ser accesibles ".

Los memes viven en gran medida dentro de las plataformas de redes sociales que tienen barreras para agregar texto alternativo. Gorjeo, por ejemplo, permite a las personas agregar texto alternativo a sus imágenes, pero esa función no siempre es fácil de encontrar. De nueve millones de tweets que examinaron los investigadores de CMU, un millón de imágenes incluidas y, de aquellos, solo el 0,1 por ciento incluía texto alternativo.

Gleason dijo que las técnicas básicas de visión por computadora hacen posible describir las imágenes subyacentes a cada meme, ya sea una celebridad, un bebe llorando, un personaje de dibujos animados o una escena como un autobús volcado en un sumidero. Se utilizan técnicas de reconocimiento óptico de caracteres para descifrar el texto superpuesto, que puede cambiar con cada iteración del meme. Para cada tipo de meme, solo es necesario hacer una plantilla que describa la imagen, y el texto superpuesto se puede agregar para cada iteración de ese meme.

Pero escribir lo que el meme pretende transmitir resultó difícil.

"Dependía del meme si el humor se traducía. Algunas de las imágenes son más matizadas, ", Dijo Gleason." Y a veces es explícito y puedes describirlo ". Por ejemplo, el texto alternativo completo para el meme del llamado "niño exitoso" dice "Niño pequeño apretando el puño frente a la cara engreída. Texto superpuesto en la parte superior:Fue un chico malo todo el año. Texto superpuesto en la parte inferior:Todavía recibí increíbles regalos de Santa".

El equipo también creó una plataforma para traducir memes en sonido en lugar de texto. Los usuarios buscan en una biblioteca de sonidos y arrastran y sueltan elementos en una plantilla. Este sistema se creó para traducir los memes existentes y transmitir el sentimiento a través de música y efectos de sonido.

"Una de las razones por las que probamos los memes de audio fue porque pensamos que el texto alternativo acabaría con la broma, pero la gente sigue prefiriendo el texto porque están muy acostumbrados a él, "Dijo Gleason.

Implementar la tecnología será un desafío. Incluso si estuviera integrado en un sitio web generador de memes, que el texto alternativo no se copiaría automáticamente cuando la imagen se compartiera en las redes sociales.

"Tendríamos que convencer a Twitter para que agregue una nueva función, ", Dijo Gleason. Podría ser algo agregado a un teléfono inteligente personal, pero señaló que eso supondría una carga para el usuario. Los investigadores de CMU están trabajando actualmente en proyectos relacionados, incluyendo una extensión de navegador para Twitter que intenta agregar texto alternativo para cada imagen y podría incluir un sistema de memes. Otro proyecto busca integrar texto alternativo en los metadatos de las imágenes que permanecerían con la imagen donde sea que se publique.

Este trabajo fue presentado a principios de este año en la conferencia ACCESS en Pittsburgh. Otros investigadores involucrados en la investigación incluyen a la becaria postdoctoral del HCII Amy Pavel, Xingyu Liu, estudiante de CMU, El profesor asistente de HCII Patrick Carrington y Lydia Chilton de la Universidad de Columbia.