Google ha presentado una nueva experiencia inmersiva de realidad virtual (VR) basada en un sistema novedoso que captura y renderiza de alta calidad, imágenes realistas del mundo real utilizando campos de luz. Creado por un equipo de investigadores líderes en Google, Bienvenido a Light Fields es el salto del gigante de la tecnología al campo naciente de las experiencias de realidad virtual de campos de luz. un rincón emocionante de la tecnología de video de realidad virtual que está ganando terreno por su promesa de ofrecer imágenes y experiencias de muy alta calidad en el mundo virtual.

Google lanzó Welcome to Light Fields a principios de este año como una aplicación gratuita en Steam VR para HTC Vive, Oculus Rift, y auriculares con Windows Mixed Reality. Los creadores demostrarán la experiencia de realidad virtual en SIGGRAPH 2018, en el pabellón inmersivo, un nuevo espacio para la conferencia de este año. El Pabellón está dedicado exclusivamente a lo virtual, aumentado, y realidad mixta y contendrá:el Vrcade, un espacio para la realidad virtual, ARKANSAS, y juegos o experiencias de RM; el teatro de realidad virtual un espectáculo de cuentos que forma parte del Festival de Animación por Computadora; y el conocido Village, para mostrar proyectos a gran escala. SIGGRAPH 2018, celebrada del 12 al 16 de agosto en Vancouver, Columbia Británica, es una reunión anual que presenta a los principales profesionales del mundo, académica, y mentes creativas a la vanguardia de los gráficos por computadora y las técnicas interactivas.

Los destinos en Welcome to Light Fields incluyen el Space Shuttle Discovery de la NASA, entregando a los espectadores la vista de un astronauta dentro de la cabina de vuelo, que nunca ha estado abierta al público; los prístinos interiores de teca y caoba de Gamble House, un tesoro arquitectónico en Pasadena, CALIFORNIA; y la gloriosa iglesia de San Esteban en Granada Hills, CALIFORNIA, hogar de una impresionante pared de más de 14, 000 piezas de vidrieras relucientes.

"Me encanta que los campos de luz en la realidad virtual puedan teletransportarte a lugares exóticos del mundo real, y realmente hacerte creer que estás ahí, "dice Ryan Overbeck, ingeniero de software en Google que codirigió el proyecto. "A mi, esto es magia."

Para darle vida a esta experiencia, Overbeck trabajó con un equipo que incluía a Paul Debevec, ingeniero senior de Google, que gestionó el proyecto y dirigió la pieza de hardware con los ingenieros Xueming Yu, Jay Busch, y Graham Fyffe. Con Overbeck, Daniel Erickson y Daniel Evangelakos se centraron en el software. Los investigadores diseñaron un sistema integral para capturar y renderizar de alta calidad, imágenes fijas de campo de luz esférica de imágenes capturadas en el mundo real. Desarrollaron dos equipos de cámaras de campo de luz fáciles de usar, basado en la cámara deportiva GoPro Hero4action, que capturan de manera eficiente miles de imágenes en la superficie de una esfera. Luego, esas imágenes se pasaron a través de una tubería de procesamiento de campo de luz basada en la nube.

Entre otras cosas, explica Overbeck, "La canalización de procesamiento utiliza visión por computadora para colocar las imágenes en 3-D y generar mapas de profundidad, y usamos una versión modificada de nuestro códec de video vp9 [formato de video] para comprimir los datos del campo de luz a un tamaño manejable ". Para renderizar un conjunto de datos de campo de luz, él nota, el equipo utilizó un algoritmo de renderizado que combina miles de imágenes de campo de luz en tiempo real.

El equipo confió en el talentoso grupo de ingenieros de Google en visión por computadora, gráficos, compresión de video, y aprendizaje automático para superar los desafíos únicos que plantea la tecnología de campos de luz. También colaboraron estrechamente con el equipo de WebM (que fabrica el códec de video vp9) para desarrollar el formato de compresión de campo de luz de alta calidad incorporado en su sistema. y se apoyó en gran medida en la experiencia del equipo de Jump VR para ayudar a posar las imágenes y generar mapas de profundidad. (Jump es el sistema de realidad virtual profesional de Google para lograr una producción de video 3-D-360 a escala).

En efecto, con Bienvenido a Light Fields, el equipo de Google está demostrando el potencial y la promesa de la tecnología de realidad virtual de campo ligero, mostrando la capacidad de la tecnología para proporcionar una experiencia verdaderamente inmersiva con un nivel de realismo inigualable. Aunque la tecnología de campos de luz se ha investigado y explorado en gráficos por computadora durante más de 30 años, Los sistemas prácticos para ofrecer experiencias de campo de luz de alta calidad aún no han sido posibles.

Parte de la motivación del equipo detrás de la creación de esta experiencia de campo de luz de realidad virtual es revitalizar el campo naciente.

"Bienvenido a Light Fields demuestra que ahora es posible crear un visor de realidad virtual de campo de luz convincente que se ejecute en hardware de nivel de consumidor, y esperamos que este conocimiento anime a otros a involucrarse en la construcción de medios y tecnología de campo ligero, ", dice Overbeck." Entendemos que para eventualmente hacer atractivos productos de consumo basados ​​en campos de luz, necesitamos un ecosistema de campo de luz próspero. Necesitamos códecs de campo de luz abiertos, necesitamos artistas que creen bellas imágenes de campo de luz, y necesitamos personas que utilicen la realidad virtual para interactuar con los campos de luz ".