Incluso los fotógrafos y videógrafos novatos que confían en sus dispositivos de mano para tomar fotos o hacer videos a menudo consideran la iluminación de sus sujetos. La iluminación es fundamental en la realización de películas, juego de azar, y entornos de realidad virtual / aumentada y pueden hacer o deshacer la calidad de una escena y los actores e intérpretes en ella. Replicar la iluminación de personajes realistas ha seguido siendo un desafío difícil en los gráficos y la visión por computadora.

Si bien se ha logrado un progreso significativo en los sistemas de captura volumétrica, centrándose en la reconstrucción geométrica 3-D con texturas de alta resolución, como métodos para lograr formas y texturas realistas del rostro humano, se ha trabajado mucho menos para recuperar las propiedades fotométricas necesarias para volver a iluminar los personajes. Los resultados de tales sistemas carecen de detalles finos y el sombreado del sujeto está precocido en la textura.

Los informáticos de Google están revolucionando esta área de la tecnología de captura volumétrica con una novela, sistema integral que es capaz, por primera vez, para capturar la reflectancia de cuerpo completo de actuaciones humanas en 3-D, y combinarlos sin problemas en el mundo real a través de AR o en escenas digitales en películas, juegos, y más. Google presentará su nuevo sistema, llamado The Relightables, en ACM SIGGRAPH Asia, celebrada del 17 al 20 de noviembre en Brisbane, Australia. SIGGRAPH Asia, ahora en su duodécimo año, atrae a las personas técnicas y creativas más respetadas de todo el mundo en gráficos por computadora, animación, interactividad, juego de azar, y tecnologías emergentes.

Ha habido grandes avances en este ámbito de trabajo que la industria llama sistemas de captura 3-D. A través de estos sofisticados sistemas, los espectadores han podido experimentar cómo los personajes digitales cobran vida en la pantalla grande, por ejemplo, en éxitos de taquilla como Avatar y la serie Avengers y mucho más.

En efecto, la tecnología de captura volumétrica ha alcanzado un alto nivel de calidad, pero muchas de estas reconstrucciones todavía carecen de un verdadero fotorrealismo. En particular, a pesar de que estos sistemas utilizan configuraciones de estudio de alta gama con pantallas verdes, todavía luchan por capturar detalles de alta frecuencia de los humanos y solo recuperan una condición de iluminación fija. Esto hace que estos sistemas de captura volumétrica no sean adecuados para la representación fotorrealista de actores o intérpretes en escenas arbitrarias bajo diferentes condiciones de iluminación.

El sistema Relightables de Google permite personalizar la iluminación de los personajes en tiempo real o volver a iluminarlos en cualquier escena o entorno.

Demuestran esto en sujetos que están grabados dentro de una esfera geodésica personalizada equipada con 331 luces LED de colores personalizados (también llamado sistema de captura Light Stage), una variedad de cámaras de alta resolución, y un conjunto de sensores de profundidad personalizados de alta resolución. El sistema Relightables captura aproximadamente 65 GB por segundo de datos sin procesar de casi 100 cámaras y su marco computacional permite procesar los datos de manera efectiva a esta escala.

Su sistema captura la información de reflectancia de una persona; la forma en que la iluminación interactúa con la piel es un factor importante en la apariencia real de las personas digitales. Los intentos anteriores utilizaron iluminación plana o requirieron caracteres generados por computadora. No solo pueden capturar información de reflectancia en una persona, pero pueden grabar mientras la persona se mueve libremente dentro del volumen. Como resultado, son capaces de volver a encender su animación en entornos arbitrarios.

Históricamente, Las cámaras graban a las personas desde un único punto de vista y condiciones de iluminación. Este nuevo sistema, nota a los investigadores, permite a los usuarios grabar a alguien y luego verlo desde cualquier punto de vista y condición de iluminación, eliminando la necesidad de una pantalla verde para crear efectos especiales y permitiendo condiciones de iluminación más flexibles.

Las interacciones del espacio, luz, y la sombra entre un intérprete y su entorno juegan un papel fundamental en la creación de un sentido de presencia. Más allá de simplemente 'cortar y pegar' una captura de video en 3-D, el sistema brinda la capacidad de grabar a alguien y luego ubicarlo sin problemas en nuevos entornos, ya sea en su propio espacio para experiencias de realidad aumentada, o en el mundo de una realidad virtual, película, o experiencia de juego.

En SIGGRAPH Asia, El equipo de Relightables presentará los componentes de su sistema, desde la captura hasta el procesamiento y la visualización, con demostraciones en video de cada etapa. Ellos guiarán a los asistentes a través de los entresijos de la construcción de The Relightables, describiendo los principales desafíos que abordaron en el trabajo y mostrando algunas aplicaciones y representaciones interesantes.