Los dispositivos inteligentes pueden parecer tontos si no entienden dónde están o qué están haciendo las personas a su alrededor. Los investigadores de la Universidad Carnegie Mellon dicen que esta conciencia ambiental puede mejorarse mediante métodos complementarios para analizar el sonido y las vibraciones.

"Un altavoz inteligente sentado en la encimera de la cocina no puede saber si está en una cocina, y mucho menos saber lo que hace una persona en una cocina, "dijo Chris Harrison, profesor asistente en el Instituto de Interacción Humano-Computadora (HCII) de CMU. "Pero si estos dispositivos entendieran lo que sucedía a su alrededor, podrían ser mucho más útiles ".

Harrison y sus colegas del Future Interfaces Group informarán hoy en el Simposio de tecnología y software de interfaz de usuario de la Association for Computing Machinery en Berlín sobre dos enfoques para este problema:uno que utiliza los sensores más ubicuos, el micrófono, y otro que emplea una versión moderna de la tecnología de espionaje utilizada por la KGB en la década de 1950.

En el primer caso, los investigadores han buscado desarrollar un sistema de reconocimiento de actividad basado en el sonido, llamado Ubicoustics. Este sistema utilizaría los micrófonos existentes en altavoces inteligentes, teléfonos inteligentes y relojes inteligentes, permitiéndoles reconocer sonidos asociados con lugares, como dormitorios, cocinas, Talleres de trabajo, Entradas y oficinas.

"La idea principal aquí es aprovechar las bibliotecas profesionales de efectos de sonido que se utilizan normalmente en la industria del entretenimiento, "dijo Gierad Laput, un doctorado estudiante en HCII. "Están limpias, debidamente etiquetado, bien segmentado y diverso. Más, podemos transformarlos y proyectarlos en cientos de variaciones diferentes, creando volúmenes de datos perfectos para entrenar modelos de aprendizaje profundo.

"Este sistema podría implementarse en un dispositivo existente como una actualización de software y funcionar de inmediato, "añadió.

El sistema plug-and-play puede funcionar en cualquier entorno. Podría alertar al usuario cuando alguien llama a la puerta principal, por ejemplo, o pasar al siguiente paso de una receta cuando detecta una actividad, como hacer funcionar una licuadora o picar.

Los investigadores, incluido Karan Ahuja, un doctorado estudiante en HCII, y Mayank Goel, profesor asistente en el Instituto de Investigación de Software, comenzó con un modelo existente para etiquetar sonidos y lo afinó utilizando efectos de sonido de las bibliotecas profesionales, como electrodomésticos de cocina, Herramientas eléctricas, secadoras de cabello, teclados y otros sonidos específicos del contexto. Luego alteraron sintéticamente los sonidos para crear cientos de variaciones.

Laput dijo que reconocer los sonidos y colocarlos en el contexto correcto es un desafío, en parte porque a menudo están presentes múltiples sonidos y pueden interferir entre sí. En sus pruebas, Ubicoustics tenía una precisión de alrededor del 80 por ciento, competitiva con la precisión humana, pero aún no lo suficientemente bueno para admitir aplicaciones de usuario. Mejores micrófonos Las tasas de muestreo más altas y las diferentes arquitecturas de modelos podrían aumentar la precisión con más investigaciones.

Un video que explica la ubicoustica:

En un papel aparte, Doctorado en HCII estudiante Yang Zhang junto con Laput y Harrison, describen lo que llaman Vibrosight, que puede detectar vibraciones en lugares específicos de una habitación mediante vibrometría láser. Es similar a los dispositivos basados ​​en luz que la KGB alguna vez usó para detectar vibraciones en superficies reflectantes como ventanas, permitiéndoles escuchar las conversaciones que generaron las vibraciones.

"Lo bueno de la vibración es que es un subproducto de la mayor parte de la actividad humana, ", Dijo Zhang. Corriendo en una cinta, golpear un martillo o escribir en un teclado crean vibraciones que pueden detectarse a distancia. "La otra cosa interesante es que las vibraciones se localizan en una superficie, ", agregó. A diferencia de los micrófonos, las vibraciones de una actividad no interfieren con las vibraciones de otra. Y a diferencia de los micrófonos y las cámaras, monitorear las vibraciones en lugares específicos hace que esta técnica sea discreta y preserva la privacidad.

Este método requiere un sensor especial, un láser de baja potencia combinado con un motorizado, espejo orientable. Los investigadores construyeron su dispositivo experimental por alrededor de $ 80. Las etiquetas reflectantes, el mismo material que se usa para hacer que las bicicletas y los peatones sean más visibles por la noche, se aplican a los objetos que se van a monitorear. El sensor se puede montar en una esquina de una habitación y puede monitorear las vibraciones de múltiples objetos.

Zhang dijo que el sensor puede detectar si un dispositivo está encendido o apagado con una precisión del 98 por ciento e identificar el dispositivo con una precisión del 92 por ciento. basado en el perfil de vibración del objeto. También puede detectar movimiento, como la de una silla cuando alguien se sienta en ella, y sabe cuando alguien ha bloqueado la vista del sensor de una etiqueta, como cuando alguien está usando un fregadero o una estación de lavado de ojos.

Un video que explica Vibrosight: