A pesar de años de exageración, Los cascos de realidad virtual aún tienen que derribar las pantallas de televisión o computadora como dispositivos de referencia para ver videos. Una razón:la realidad virtual puede hacer que los usuarios se sientan mal. Pueden producirse náuseas y fatiga visual porque la realidad virtual crea una ilusión de visualización en 3D, aunque el usuario de hecho está mirando una pantalla en 2D de distancia fija. La solución para una mejor visualización en 3D podría residir en una tecnología de 60 años rehecha para el mundo digital:los hologramas.

Los hologramas ofrecen una representación excepcional del mundo 3D que nos rodea. Más, son hermosos. (Adelante, mire la paloma holográfica en su tarjeta Visa). Los hologramas ofrecen una perspectiva cambiante basada en la posición del espectador, y permiten que el ojo ajuste la profundidad focal para enfocar alternativamente el primer plano y el fondo.

Los investigadores han buscado durante mucho tiempo hacer hologramas generados por computadora, pero el proceso ha requerido tradicionalmente una supercomputadora para realizar simulaciones de física, que lleva mucho tiempo y puede producir resultados menos fotorrealistas. Ahora, Los investigadores del MIT han desarrollado una nueva forma de producir hologramas casi instantáneamente, y el método basado en el aprendizaje profundo es tan eficiente que puede ejecutarse en una computadora portátil en un abrir y cerrar de ojos. dicen los investigadores.

"La gente pensaba anteriormente que con el hardware de nivel de consumidor existente, era imposible hacer cálculos de holografía 3D en tiempo real, "dice Liang Shi, autor principal del estudio y un Ph.D. estudiante del Departamento de Ingeniería Eléctrica e Informática del MIT (EECS). "A menudo se dice que las pantallas holográficas disponibles comercialmente estarán disponibles en 10 años, sin embargo, esta declaración ha existido durante décadas ".

Shi cree que el nuevo enfoque que el equipo llama "holografía tensorial, "finalmente traerá ese escurridizo objetivo de 10 años a nuestro alcance. El avance podría impulsar un desbordamiento de la holografía en campos como la realidad virtual y la impresión 3D.

Shi trabajó en el estudio, publicado en Naturaleza , con su asesor y coautor Wojciech Matusik. Otros coautores incluyen a Beichen Li de EECS y el Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT, así como los ex investigadores del MIT Changil Kim (ahora en Facebook) y Petr Kellnhofer (ahora en la Universidad de Stanford).

La búsqueda de un mejor 3D

Una fotografía típica basada en lentes codifica el brillo de cada onda de luz:una foto puede reproducir fielmente los colores de una escena, pero finalmente produce una imagen plana.

A diferencia de, un holograma codifica tanto el brillo como la fase de cada onda de luz. Esa combinación ofrece una descripción más fiel del paralaje y la profundidad de una escena. Entonces, mientras que una fotografía de los "Nenúfares" de Monet puede resaltar la paleta de colores de las pinturas, un holograma puede dar vida a la obra, renderizando la textura 3D única de cada trazo de pincel. Pero a pesar de su realismo, Los hologramas son un desafío para hacer y compartir.

Desarrollado por primera vez a mediados del siglo XX, Los primeros hologramas se registraron ópticamente. Eso requirió dividir un rayo láser, con la mitad del haz utilizado para iluminar al sujeto y la otra mitad como referencia para la fase de las ondas de luz. Esta referencia genera la sensación de profundidad única de un holograma. Las imágenes resultantes eran estáticas, para que no pudieran capturar el movimiento. Y eran solo copias impresas, haciéndolos difíciles de reproducir y compartir.

La holografía generada por computadora evita estos desafíos al simular la configuración óptica. Pero el proceso puede ser un trabajo duro computacional. "Como cada punto de la escena tiene una profundidad diferente, no se pueden aplicar las mismas operaciones a todas, ", dice Shi." Eso aumenta la complejidad significativamente ". Dirigir una supercomputadora agrupada para ejecutar estas simulaciones basadas en la física podría llevar segundos o minutos para una sola imagen holográfica. Además, Los algoritmos existentes no modelan la oclusión con precisión fotorrealista. Así que el equipo de Shi adoptó un enfoque diferente:dejar que la computadora se enseñara física a sí misma.

Utilizaron el aprendizaje profundo para acelerar la holografía generada por computadora, permitiendo la generación de hologramas en tiempo real. El equipo diseñó una red neuronal convolucional, una técnica de procesamiento que utiliza una cadena de tensores entrenables para imitar aproximadamente cómo los humanos procesan la información visual. Entrenar una red neuronal normalmente requiere una gran conjunto de datos de alta calidad, que no existía anteriormente para los hologramas 3D.

El equipo creó una base de datos personalizada de 4, 000 pares de imágenes generadas por computadora. Cada par hizo coincidir una imagen, incluida la información de color y profundidad de cada píxel, con su holograma correspondiente. Para crear los hologramas en la nueva base de datos, los investigadores utilizaron escenas con formas y colores complejos y variables, con la profundidad de píxeles distribuida uniformemente desde el fondo hasta el primer plano, y con un nuevo conjunto de cálculos basados ​​en la física para manejar la oclusión. Ese enfoque resultó en datos de entrenamiento fotorrealistas. Próximo, el algoritmo se puso a trabajar.

Aprendiendo de cada par de imágenes, la red tensorial modificó los parámetros de sus propios cálculos, mejorando sucesivamente su capacidad para crear hologramas. La red totalmente optimizada operó órdenes de magnitud más rápido que los cálculos basados ​​en la física. Esa eficiencia sorprendió al propio equipo.

"Estamos asombrados de lo bien que funciona, "dice Matusik. En milisegundos, La holografía tensorial puede crear hologramas a partir de imágenes con información de profundidad, que se proporciona mediante imágenes típicas generadas por computadora y se puede calcular a partir de una configuración multicámara o un sensor LiDAR (ambos son estándar en algunos teléfonos inteligentes nuevos). Este avance allana el camino para la holografía 3D en tiempo real. Y lo que es más, la red tensorial compacta requiere menos de 1 MB de memoria. "Es insignificante, considerando las decenas y cientos de gigabytes disponibles en el último teléfono celular, " él dice.

"Un salto considerable"

La holografía 3D en tiempo real mejoraría una gran cantidad de sistemas, de la realidad virtual a la impresión 3D. El equipo dice que el nuevo sistema podría ayudar a sumergir a los espectadores de realidad virtual en escenarios más realistas. al tiempo que elimina la fatiga visual y otros efectos secundarios del uso prolongado de la realidad virtual. La tecnología podría implementarse fácilmente en pantallas que modulan la fase de las ondas de luz. En la actualidad, Las pantallas de consumo más asequibles modulan solo el brillo, aunque el costo de las pantallas moduladoras de fase se reduciría si se adoptara ampliamente.

La holografía tridimensional también podría impulsar el desarrollo de la impresión 3D volumétrica, dicen los investigadores. Esta tecnología podría resultar más rápida y precisa que la impresión 3D tradicional capa por capa, ya que la impresión 3D volumétrica permite la proyección simultánea de todo el patrón 3D. Otras aplicaciones incluyen microscopía, visualización de datos médicos, y el diseño de superficies con propiedades ópticas únicas.

"Es un salto considerable que podría cambiar por completo las actitudes de las personas hacia la holografía, ", dice Matusik." Sentimos que las redes neuronales nacieron para esta tarea ".