Los informáticos se centran en agregar funcionalidad mejorada para hacer que la "realidad" en los entornos de realidad virtual (VR) sea altamente creíble. Un aspecto clave de la realidad virtual es permitir interacciones sociales remotas y la posibilidad de hacerlo más inmersivo que cualquier medio de telecomunicaciones anterior. Investigadores de Facebook Reality Labs (FRL) han desarrollado un sistema revolucionario llamado Codec Avatars que brinda a los usuarios de realidad virtual la capacidad de interactuar con otros mientras se representan a sí mismos con avatares realistas animados con precisión en tiempo real. Los investigadores tienen como objetivo construir el futuro de la conexión dentro de la realidad virtual, y eventualmente, realidad aumentada al ofrecer la experiencia más socialmente comprometida posible para los usuarios en el mundo de la realidad virtual.

Hasta la fecha, Se han logrado avatares altamente fotorrealistas renderizados en tiempo real y se han utilizado con frecuencia en animación por computadora, mediante el cual los actores están equipados con sensores que están colocados de manera óptima para capturar computacionalmente detalles geométricos de sus rostros y expresiones faciales. Esta tecnología de sensor, sin embargo, no es compatible con los diseños o plataformas de auriculares de realidad virtual existentes, y los cascos de realidad virtual típicos obstruyen diferentes partes del rostro, por lo que la tecnología de captura facial completa es difícil. Por lo tanto, Estos sistemas son más adecuados para actuaciones unidireccionales en lugar de interacciones bidireccionales en las que dos o más personas usan auriculares VR.

"Nuestro trabajo demuestra que es posible animar con precisión avatares fotorrealistas de cámaras montadas de cerca en un visor de realidad virtual, "dice el autor principal Shih-En Wei, científico investigador en Facebook. Wei y colaboradores han configurado un auricular con sensores mínimos para captura facial, y su sistema permite bidireccional, auténtica interacción social en la realidad virtual.

Wei y sus colegas de Facebook demostrarán su sistema de animación facial en tiempo real de realidad virtual en SIGGRAPH 2019, celebrada del 28 de julio al 1 de agosto en Los Ángeles. Esta reunión anual presenta a los principales profesionales del mundo, académica, y mentes creativas a la vanguardia de los gráficos por computadora y las técnicas interactivas.

En este trabajo, los investigadores presentan un sistema que puede animar cabezas de avatar con una semejanza personal muy detallada al rastrear con precisión las expresiones faciales en tiempo real de los usuarios utilizando un conjunto mínimo de cámaras montadas en auriculares (HMC). Abordan dos desafíos clave:vistas de cámara difíciles en la HMC y las grandes diferencias de apariencia entre las imágenes capturadas con las cámaras de los auriculares y las representaciones del avatar realista de la persona.

El equipo desarrolló un prototipo de casco de "formación", que no solo tiene cámaras en los auriculares de seguimiento habituales para la animación en tiempo real, pero además está equipado con cámaras en posiciones más cómodas para un seguimiento facial ideal. Los investigadores presentan una técnica de inteligencia artificial basada en Generative Adversarial Networks (GAN) que realiza una traducción consistente de estilo de imagen de múltiples vistas para convertir automáticamente las imágenes infrarrojas de HMC en imágenes que parecen un avatar renderizado pero con la misma expresión facial de la persona.

"Al comparar estas imágenes convertidas usando cada píxel, no solo rasgos faciales escasos, y las representaciones del avatar en 3-D, "observa Wei, "podemos mapear con precisión entre las imágenes de los auriculares de seguimiento y el estado del avatar en 3-D a través de una representación diferenciable. Una vez que se establece el mapeo, entrenamos una red neuronal para predecir los parámetros faciales a partir de un conjunto mínimo de imágenes de la cámara en tiempo real ".

Demostraron una variedad de ejemplos en este trabajo, y pudieron demostrar que su método puede encontrar asignaciones de alta calidad incluso para expresiones faciales sutiles en la parte superior de la cara, un área que es muy difícil de capturar, donde el ángulo de la cámara desde el auricular está torcido y demasiado cerca del sujeto. Los investigadores también muestran una captura facial extremadamente detallada, incluyendo sutiles diferencias en lenguas, dientes, y los ojos, donde el avatar no tiene geometría detallada.

Además de animar los avatares en realidad virtual, El equipo de FRL también está construyendo sistemas que algún día podrían permitir a las personas crear rápida y fácilmente sus avatares a partir de unas pocas imágenes o videos. Si bien los avatares de códecs actuales se crean automáticamente, el proceso requiere un gran sistema de cámaras y micrófonos para capturar al individuo. FRL también tiene como objetivo crear y animar cuerpos completos para expresar señales sociales más completas. Si bien faltan años para que esta tecnología llegue a los auriculares de los consumidores, el grupo de investigación ya está trabajando en posibles soluciones para mantener seguros los datos de los avatares y garantizar que solo las personas a las que representan puedan acceder a los avatares.