La próxima generación de audífonos podría leer los labios a través de máscaras

Ilustración conceptual del marco de lectura de labios propuesto. El marco emplea tecnologías Wi-Fi y de radar como habilitadores de la lectura de labios basada en detección de RF. Se recopila un conjunto de datos que comprende las vocales A, E, I, O, U y vacío (labios estáticos/cerrados) utilizando ambas tecnologías, con una máscara facial. Los datos recopilados se utilizan para entrenar modelos ML y DL. Crédito:Comunicaciones de la naturaleza (2022). DOI:10.1038/41467-022-32231-1. https://www.nature.com/articles/s41467-022-32231-1

Un nuevo sistema capaz de leer los labios con una precisión notable, incluso cuando los oradores usan máscaras faciales, podría ayudar a crear una nueva generación de audífonos.

Un equipo internacional de ingenieros y científicos informáticos desarrolló la tecnología, que combina la detección de radiofrecuencia con la inteligencia artificial por primera vez para identificar los movimientos de los labios.

El sistema, cuando se integra con la tecnología de audífonos convencionales, podría ayudar a abordar el "efecto cóctel", una deficiencia común de los audífonos tradicionales.

Actualmente, los audífonos ayudan a las personas con discapacidad auditiva al amplificar todos los sonidos ambientales que les rodean, lo que puede ser útil en muchos aspectos de la vida cotidiana.

Sin embargo, en situaciones ruidosas como cócteles, el amplio espectro de amplificación de los audífonos puede dificultar que los usuarios se concentren en sonidos específicos, como una conversación con una persona en particular.

Una posible solución al efecto cóctel es fabricar audífonos "inteligentes", que combinan la amplificación de audio convencional con un segundo dispositivo para recopilar datos adicionales para mejorar el rendimiento.

Mientras que otros investigadores han tenido éxito en el uso de cámaras para ayudar con la lectura de labios, recopilar imágenes de video de personas sin su consentimiento explícito genera preocupaciones sobre la privacidad individual. Las cámaras tampoco pueden leer los labios a través de las máscaras, un desafío cotidiano para las personas que se cubren la cara con fines culturales o religiosos y un problema más amplio en la era de la COVID-19.

En un nuevo artículo publicado hoy en la revista Nature Communications , el equipo dirigido por la Universidad de Glasgow describe cómo se propusieron aprovechar la tecnología de detección de vanguardia para leer los labios. Su sistema preserva la privacidad al recopilar solo datos de radiofrecuencia, sin imágenes de video que lo acompañen.

Para desarrollar el sistema, los investigadores pidieron a hombres y mujeres voluntarios que repitieran los cinco sonidos de las vocales (A, E, I, O y U) primero sin la mascarilla y luego con la mascarilla quirúrgica puesta.

A medida que los voluntarios repetían los sonidos de las vocales, se escanearon sus rostros usando señales de radiofrecuencia de un sensor de radar dedicado y un transmisor wifi. Sus rostros también fueron escaneados mientras sus labios permanecían inmóviles.

Luego, las 3.600 muestras de datos recopilados durante los escaneos se usaron para "enseñar" algoritmos de aprendizaje automático y aprendizaje profundo a reconocer los movimientos característicos de los labios y la boca asociados con cada sonido vocálico.

Debido a que las señales de radiofrecuencia pueden pasar fácilmente a través de las máscaras de los voluntarios, los algoritmos también podrían aprender a leer la formación de vocales de los usuarios enmascarados.

El sistema demostró ser capaz de leer correctamente los labios de los voluntarios la mayor parte del tiempo. Los datos de wifi fueron interpretados correctamente por los algoritmos de aprendizaje hasta el 95 % del tiempo para los labios sin máscara y el 80 % para los labios con máscara. Mientras tanto, los datos del radar se interpretaron correctamente hasta en un 91 % sin máscara y en un 83 % de las veces con máscara.

El Dr. Qammer Abbasi, de la Escuela de Ingeniería James Watt de la Universidad de Glasgow, es el autor principal del artículo. Dijo:"Alrededor del 5 % de la población mundial, unos 430 millones de personas, tienen algún tipo de discapacidad auditiva.

"Los audífonos han brindado beneficios transformadores para muchas personas con discapacidad auditiva. Una nueva generación de tecnología que recopila un amplio espectro de datos para aumentar y mejorar la amplificación del sonido podría ser otro paso importante para mejorar la calidad de vida de las personas con discapacidad auditiva.

"With this research, we have shown that radio-frequency signals can be used to accurately read vowel sounds on people's lips, even when their mouths are covered. While the results of lip-reading with radar signals are slightly more accurate, the Wi-Fi signals also demonstrated impressive accuracy.

"Given the ubiquity and affordability of Wi-Fi technologies, the results are highly encouraging which suggests that this technique has value both as a standalone technology and as a component in future multimodal hearing aids."

Professor Muhammad Imran, head of the University of Glasgow's Communications, Sensing and Imaging research group and a co-author of the paper, added, "This technology is an outcome from two research projects funded by the Engineering and Physical Sciences Research Council (EPSRC), called COG-MHEAR and QUEST.

"Both aim to find new methods of creating the next generation of health care devices, and this development will play a major role in supporting that goal."

The team's paper, titled "Pushing the Limits of Remote RF Sensing by Reading Lips Under the Face Mask," is published in Nature Communications . + Explora más