Capturar poses de manos interactivas en tiempo real y con resultados realistas es un problema bien examinado en informática. particularmente la informática centrada en el ser humano y la tecnología de captura de movimiento. Las manos humanas son complejas:un intrincado sistema de flexores, extensores, y capacidades sensoriales que sirven como nuestro medio principal para manipular objetos físicos y comunicarnos entre nosotros. La captura precisa del movimiento de las manos es relevante e importante para muchas aplicaciones, como los juegos, dominios de realidad aumentada y virtual, robótica, y las industrias biomédicas.

Un equipo global de científicos informáticos de ETH Zurich y la Universidad de Nueva York ha avanzado aún más en esta área de investigación mediante el desarrollo de un guante de datos con sensor de estiramiento para capturar en tiempo real, Poses de mano interactivas con mucha más precisión.

El equipo de investigación incluido Oliver Glauser, Shihao Wu, Otmar Hilliges, y Olga Sorkine-Hornung de ETH Zurich y Daniele Panozzo de NYU, demostrará su guante innovador en SIGGRAPH 2019, celebrada del 28 de julio al 1 de agosto en Los Ángeles. Esta reunión anual presenta a los principales profesionales del mundo, académica, y mentes creativas a la vanguardia de los gráficos por computadora y las técnicas interactivas.

La principal ventaja de sus guantes con sensor de estiramiento, dicen los investigadores, es que no requieren una configuración basada en una cámara, ni ningún equipo externo adicional, y podrían comenzar a rastrear las poses de las manos en tiempo real con solo una calibración mínima.

"Hasta donde sabemos, nuestros guantes son los primeros guantes de captura de datos de mano precisos basados ​​únicamente en sensores de estiramiento, "dice Glauser, autor principal del trabajo y Ph.D. estudiante en ETH Zurich. "Los guantes son suaves y finos, haciéndolos muy cómodos y discretos de usar, incluso teniendo 44 sensores integrados. Se pueden fabricar a bajo costo con herramientas comúnmente disponibles en los laboratorios de fabricación ".

Glauser y sus colaboradores se propusieron superar algunos desafíos persistentes en la reproducción de poses precisas de las manos. En este trabajo, abordaron obstáculos como capturar los movimientos de las manos en tiempo real en una variedad de entornos y escenarios, además de utilizar solo equipos fáciles de usar y un enfoque fácil de aprender para la configuración. Demuestran que sus guantes suaves con detección de estiramiento tienen éxito en calcular con precisión las poses de las manos en tiempo real, incluso cuando el usuario sostiene un objeto físico, y en condiciones tales como poca iluminación.

Los investigadores utilizaron un compuesto de silicona con la forma de una mano equipada con 44 sensores de estiramiento y lo colocaron en un guante hecho de suave, tela fina. Para reconstruir la pose de la mano a partir de las lecturas del sensor, los investigadores utilizan un modelo basado en datos que explota el diseño del sensor en sí. El modelo se entrena solo una vez; y recopilar datos de formación, los investigadores utilizan un sistema de reconstrucción de la pose de la mano listo para usar.

Para el estudio, comparan la precisión de sus guantes sensores con dos productos de guantes comerciales de última generación. En todas las poses menos una mano, la novela de los investigadores, Los guantes con sensor de estiramiento recibieron el retorno de error más bajo para cada pose interactiva.

En el trabajo futuro, el equipo tiene la intención de explorar cómo se podría usar un enfoque de sensor similar para rastrear un brazo completo para obtener la posición y orientación global del guante, o quizás incluso un traje de cuerpo entero. Actualmente los investigadores han fabricado guantes de tamaño mediano, y les gustaría expandirse a otros tamaños y formas.

"Este es un problema ya bien estudiado, pero encontramos nuevas formas de abordarlo en términos de los sensores empleados en nuestro diseño y nuestro modelo basado en datos, ", señala Glauser." Lo que también es emocionante acerca de este trabajo es la naturaleza multidisciplinaria de trabajar en este problema. Requería experiencia de varios campos, incluida la ciencia de los materiales, fabricación, Ingenieria Eléctrica, gráficos de computadora, y aprendizaje automático ".