Imagínese yendo a un supermercado desconocido por primera vez. Si eres una persona que puede ver, simplemente puede mirar a su alrededor para guiarse e identificar objetos y obstáculos. Sin embargo, las personas ciegas deben utilizar otros sentidos para encontrar su camino a través de un nuevo espacio.

Pronto, los ciegos pueden tener alguna ayuda de navegación, gracias a los investigadores de Caltech que han combinado hardware de realidad aumentada y algoritmos de visión por computadora para desarrollar software que permite que los objetos "hablen". Usado como auricular portátil, la tecnología traduce el mundo óptico a un audio en inglés sencillo. El dispositivo podría algún día estar disponible en los bancos, tiendas de comestibles, museos, y otras ubicaciones, para ayudar a las personas ciegas a atravesar espacios desconocidos.

El trabajo se realizó en el laboratorio de Markus Meister (Ph.D. '87), Anne P. y Benjamin F. Biaggini Profesora de Ciencias Biológicas y directora ejecutiva de neurobiología, y se describe en un artículo que aparece en la edición del 27 de noviembre de la revista eLife . Meister es miembro de la facultad afiliada del Instituto de Neurociencia Tianqiao y Chrissy Chen en Caltech.

"Imagina que estás en un mundo donde todos los objetos que te rodean tienen voces y pueden hablarte, "dice Meister." Dondequiera que apuntes tu mirada, los diferentes objetos en los que te enfocas se activan y te dicen sus nombres. ¿Podrías imaginarte moviéndote en un mundo así? realizar algunas de las muchas tareas para las que normalmente usamos nuestro sistema visual? Eso es lo que hemos hecho aquí:dar voces a los objetos ".

Dirigido por el estudiante graduado Yang Liu, el equipo de científicos desarrolló un sistema que llaman CARA, o el Asistente de realidad aumentada cognitiva. CARA se desarrolló para una computadora portátil con auriculares llamada HoloLens, desarrollado por Microsoft, que puede escanear el entorno de un usuario e identificar objetos individuales como una computadora portátil o una mesa. Con CARA, a cada objeto en el entorno se le da una voz y "dirá" su nombre cuando el usuario lo ordene. La tecnología utiliza el llamado sonido espacializado, lo que hace que los objetos suenen diferentes dependiendo de su ubicación dentro de una habitación. Si el objeto es, por ejemplo, muy a la izquierda del usuario, su voz sonará como si viniera de la izquierda. Adicionalmente, cuanto más cerca esté el objeto, cuanto más alto sea el tono de su "voz".

Para evitar una cacofonía de objetos que hablan a la vez, Liu y su equipo programaron CARA con varios modos diferentes. En el primero, llamado modo de foco, un objeto solo dice su nombre cuando el usuario lo mira directamente. A medida que el usuario gira la cabeza para enfrentarse a varios objetos, cada uno de los objetos dice su nombre, y el tono de la voz del objeto proporciona una pista auditiva sobre su distancia relativa del usuario. De este modo, un usuario con problemas de visión puede "mirar a su alrededor" para explorar su entorno. En un segundo modo, llamado modo de escaneo, el entorno se escanea de izquierda a derecha con objetos que dicen sus nombres en consecuencia. El tercer modo es el modo objetivo, donde el usuario puede seleccionar uno de los objetos para hablar en exclusiva y utilizarlo como guía para navegar.

Para probar las aplicaciones prácticas de CARA, los investigadores diseñaron una ruta de prueba para voluntarios ciegos a través del edificio Beckman Behavioral Biology en Caltech. Para preparar la tarea, los científicos primero desarrollaron una ruta a través del edificio y la siguieron mientras usaban las HoloLens, que escaneó el entorno y lo guardó en la memoria. Luego, Se pidió a los voluntarios ciegos que navegaran por la ruta utilizando CARA como guía. A medida que cada voluntario comenzaba, una voz, aparentemente emanando de un lugar más adelante en la ruta, gritó "Sígueme, "al mismo tiempo que informa al usuario sobre las escaleras, pasamanos, esquinas para doblar, y similares. Dirigido por CARA, los siete voluntarios completaron la tarea con éxito en el primer intento.

CARA aún se encuentra en sus primeras etapas, pero se beneficiará del rápido desarrollo de algoritmos para visión artificial. Los investigadores ya están implementando nuevos esquemas para la identificación en tiempo real de objetos y peatones. Finalmente, esperan que lugares como los bancos, hoteles, y los centros comerciales ofrecerán dispositivos CARA para que los usen sus clientes ciegos.

Además de su trabajo con CARA, el equipo también desarrolló una nueva "prueba estandarizada" para evaluar el desempeño de varios dispositivos de asistencia para ciegos. El método proporciona un entorno de realidad virtual que los investigadores de cualquier parte del mundo pueden utilizar para comparar sus dispositivos. sin tener que reconstruir espacios físicos reales.

El artículo se titula "La realidad aumentada impulsa a un asistente cognitivo para ciegos".