Abhishek Singh hace una pregunta simple:si la voz es el futuro de la informática, ¿qué pasa con aquellos que no pueden oír? Alexa es todo oídos para la comunidad sorda gracias a un prototipo de aplicación que sin duda atraerá cierto interés e inspiración.

Después de todo, los expertos en observación de la tecnología han dicho que la tecnología de voz figura bien en nuestros futuros informáticos; como dijo BBC News, "Los últimos años han visto un aumento en la popularidad de los asistentes de voz administrados por Amazon, Google y Apple ".

Gracias a Abhishek Singh, Alexa puede responder al lenguaje de señas. ¿Quiere agregar huevos a su lista de compras? ¿Necesitas saber si está lloviendo en Manhattan? No hay problema, Alexa puede responder a estas preguntas para aquellos que no pueden hablar o escuchar con la suficiente claridad.

El ingenioso proyecto de Singh involucró un sistema basado en cámaras. Había estado pensando en lo que podría ser necesario para que los dispositivos domésticos se diseñen pensando en los usuarios sordos. Como resultado, manipuló la Alexa de Amazon, dijo la BBC, para responder en texto al lenguaje de señas americano (ASL).

Singh les dijo a los visitantes de YouTube en un video que muestra su lenguaje de señas en acción que usó el aprendizaje profundo con TensorFlow.js para hacer que Amazon Echo respondiera al lenguaje de señas.

Específicamente, como señaló la BBC, "El desarrollador entrenó a una IA con la plataforma de aprendizaje automático Tensorflow, lo que implicaba hacer gestos repetidamente frente a una cámara web para enseñar al sistema los conceptos básicos del lenguaje de señas ".

Una vez que el sistema pudo responder a los movimientos de su mano, lo conectó al software de conversión de texto a voz de Google para leer las palabras correspondientes en voz alta.

Singh dijo que al principio, "Como experimento mental, Utilicé el aprendizaje profundo para hacer que AIexa respondiera al lenguaje de señas ".

La cámara interpreta los signos del usuario. Los letreros se convierten en texto y voz. "Alexa, Hola, "sale alto y claro. "Hola, allí." "Alexa, ¿Qué tiempo hace? " "En este momento en Nueva York hace 29 grados centígrados con cielos parcialmente soleados. El pronóstico de hoy tiene muchas nubes ..." "Alexa, cuanto es cinco pies en metros? " "Cinco pies son 1,5 metros". Etcétera. ¿Y qué sería de un informe de sesión sin una solicitud de un chiste:"Alexa, cuéntame un chiste. "No lo voy a repetir, solo porque es cojo. En esa nota (no puedo culparlo) Abhishek dijo "Alexa, adiós."

La pregunta es, ¿Podría su prototipo tener alguna influencia en el futuro de los asistentes de voz? La BBC citó a Singh diciendo que no había ninguna razón por la que Amazon Show "o cualquiera de los asistentes de voz basados ​​en la cámara y la pantalla no pudieran incorporar esta funcionalidad".

Empresa rápida Singh citó:"En un mundo ideal, habría construido esto en el programa directamente, pero los dispositivos aún no se pueden piratear asi que no pude encontrar la manera de hacerlo ".