Una descripción general del sistema de asistencia VI. El sistema incluye un terminal portátil compuesto por una cámara RGBD y un auricular, un procesador y una interfaz táctil que ofrece instrucciones transitables y descripciones de escenas. Crédito:Lin et al.
Los nuevos avances tecnológicos podrían tener importantes implicaciones para las personas afectadas por discapacidades, ofreciendo una valiosa ayuda a lo largo de su vida diaria. Un ejemplo clave de esto es la orientación que las herramientas tecnológicas podrían proporcionar a las personas con discapacidad visual (VI), individuos que son parcial o totalmente ciegos.
Teniendo esto en cuenta, investigadores de CloudMinds Technologies Inc., en China, recientemente han creado un nuevo sistema de asistencia portátil con tecnología de aprendizaje profundo para personas con VI. Este sistema, presentado en un artículo publicado previamente en arXiv, consta de un terminal portátil, un potente procesador y un teléfono inteligente. El terminal portátil tiene dos componentes clave, una cámara RGBD y un auricular.
"Presentamos un sistema portátil basado en aprendizaje profundo para mejorar la calidad de vida del VI, ", escribieron los investigadores en su artículo." El sistema está diseñado para una navegación segura y una percepción completa de la escena en tiempo real ".
El sistema desarrollado por el equipo de CloudMinds esencialmente recopila datos del entorno de un usuario a través de la cámara RGBD. Estos datos se envían a una red neuronal convolucional (CNN) que los analiza y predice las estrategias de navegación y evitación de obstáculos más efectivas. Estas estrategias, junto con otra información sobre el entorno circundante, luego se comunican al usuario a través de un auricular.
Al construir este sistema, los primeros investigadores desarrollaron un red convolucional de extremo a extremo (CNN) que puede generar instrucciones sin colisiones a medida que un usuario avanza, izquierda, o bien basado en datos RGBD y mapas semánticos asociados. Además, diseñaron una serie de interacciones que son fáciles de adoptar para las personas con VI, para proporcionarles comentarios fiables, como instrucciones para caminar para evitar obstáculos e información sobre el entorno que los rodea.
"Nuestro motor para evitar obstáculos, que aprende de RGBD, mapa semántico y entrada de elección de acción de los pilotos, es capaz de proporcionar información segura sobre los obstáculos y el espacio libre que rodea al VI. Haciendo uso del mapa semántico, también introducimos un esquema de interacción eficiente implementado para ayudar al VI a percibir los entornos 3-D a través de un teléfono inteligente ".
Los investigadores probaron el rendimiento de su sistema en una serie de experimentos para evitar obstáculos en el mundo real. Notablemente, su sistema superó los enfoques existentes en varios escenarios interiores y exteriores. Los hallazgos que recopilaron durante estas pruebas sugieren que el sistema también mejora el rendimiento de movilidad de los usuarios y las capacidades de percepción del entorno en tareas del mundo real. por ejemplo, ayudándoles a comprender el diseño de una habitación determinada, ayudarlos a encontrar un objeto perdido, o transmitir las condiciones del tráfico cercano.
Como parte de su estudio, Los investigadores recopilaron conjuntos de datos de episodios de evitación de obstáculos que contienen instrucciones para evitar obstáculos cercanos al caminar y otra información para percibir los entornos 3-D circundantes. Estos conjuntos de datos podrían ayudar a los equipos de investigación a capacitar otras herramientas basadas en aprendizaje profundo para personas con VI.
En el futuro, El nuevo sistema portátil desarrollado en este estudio podría proporcionar una asistencia más eficaz y profunda a las personas con VI. El equipo ahora planea integrar una sonda o un sensor de golpes que mejoraría la seguridad de los usuarios cuando navegan por entornos más desafiantes o inseguros.
© 2019 Science X Network
