Un equipo de investigadores e ingenieros de Huawei AI ha ideado una forma única de ayudar a los niños sordos a aprender a leer el lenguaje de señas:mediante el uso de la inteligencia artificial y la realidad aumentada para interpretar libros impresos. También han encontrado una forma de ayudar a los niños sordos a que disfruten de la lectura.

La idea de la aplicación fue una respuesta a la frustración que sienten muchos padres cuando intentan leer un libro a su hijo sordo; en la mayoría de estas situaciones, un padre oyente está tratando de incluir a su hijo sordo en una actividad que es un rito de iniciación automático para quienes no tienen una discapacidad auditiva. Para resolver este problema, A los investigadores de Huawei se les ocurrió la idea de usar inteligencia artificial para ayudar a un niño a leer un libro. El sistema AI / AR está integrado en una aplicación llamada StorySign que puede ejecutarse en un teléfono o tableta:el padre o el niño sostiene el teléfono sobre la página y un avatar se superpone junto al texto e interpreta las palabras mediante la firma.

A medida que avanza la historia, la aplicación destaca las palabras que se firman, ayudar al niño a comprender que las palabras están conectadas con el signo que se usa para representarlas. Los investigadores informan que también hicieron una gran cantidad de trabajo para desarrollar un avatar con el que los niños pudieran identificarse. Trabajaron con Aardman Animations para crear un avatar llamado Star, que hace más que mostrar gestos con las manos; también usa expresiones corporales y faciales para transmitir emociones, Ayudar al niño a comprender mejor la naturaleza contextual del material del libro. Una advertencia es que la aplicación solo funciona con ciertos libros para niños, todo publicado por Penguin Random House.

La aplicación fue desarrollada con el apoyo de la Unión Europea de Sordos y la Asociación Británica de Sordos. Es gratis, y disponible para productos Android y Apple en 10 idiomas en 10 países europeos. Los desarrolladores dicen que si la aplicación resulta popular, estará disponible en más regiones y en más idiomas.

© 2018 Science X Network