Los métodos computacionales de Monte Carlo están detrás de muchas de las imágenes realistas en juegos y películas. Automatizan las complejidades de la simulación de la física de luces y cámaras para generar representaciones de alta calidad a partir de muestras de diversas escenas y características de imagen. Pero el proceso de renderizado de Monte Carlo es lento y puede tardar horas, o incluso días, en producir una sola imagen, y, a menudo, los resultados siguen estando pixelados, o "ruidoso".

Un equipo global de informáticos del MIT, Adobe, y la Universidad Aalto ha desarrollado un método innovador para producir imágenes y diseños de escenas de mayor calidad en mucho menos tiempo mediante el uso de un enfoque basado en el aprendizaje profundo que reduce considerablemente el ruido en las imágenes. Su método da como resultado imágenes más nítidas que capturan de manera efectiva detalles intrincados de características de muestra, incluyendo componentes de iluminación complejos como sombras, iluminación indirecta, Desenfoque de movimiento, y profundidad de campo.

Los investigadores están listos para presentar su trabajo en SIGGRAPH 2019, celebrada del 28 de julio al 1 de agosto en Los Ángeles. Esta reunión anual presenta a los principales profesionales del mundo, académica, y mentes creativas a la vanguardia de los gráficos por computadora y las técnicas interactivas.

"Nuestro algoritmo puede producir imágenes limpias a partir de imágenes de entrada ruidosas con muy pocas muestras, y podría ser útil para producir vistas previas renderizadas rápidas mientras se itera en el diseño de la escena, "dice el autor principal del estudio, Michaël Gharbi, científico investigador de Adobe. Gharbi comenzó la investigación como Ph.D. estudiante del MIT en el laboratorio de Frédo Durand, quien también es coautor.

El trabajo del equipo se centra en la denominada "eliminación de ruido, "una técnica de posprocesamiento para reducir el ruido de la imagen en el renderizado Monte Carlo. Básicamente, retiene los detalles de una imagen y elimina todo lo que resta valor a su nitidez. En trabajos anteriores, Los científicos informáticos han desarrollado métodos que suavizan el ruido tomando el promedio de los píxeles en una imagen de muestra y los píxeles vecinos.

"Esto funciona razonablemente bien, y varias películas lo han utilizado en producción, "señala el coautor Tzu-Mao Li, un doctorado reciente. Graduado del MIT que también estudió con Durand. "Sin embargo, si las imágenes son demasiado ruidosas, a menudo, los métodos de posprocesamiento no pueden recuperar imágenes limpias y nítidas. Por lo general, los usuarios todavía necesitan cientos de muestras por píxel en promedio para obtener una imagen con una calidad razonable, un tedioso proceso que requiere mucho tiempo ".

Algo comparable es el proceso de editar una foto en un programa de software de gráficos. Si un usuario no está trabajando desde el original, archivo RAW, Es probable que las versiones alteradas de la foto no resulten en una afilado, imagen final de alta resolución. Un problema similar pero más complejo es la eliminación de ruido de imágenes.

Para tal fin, El nuevo método computacional de los investigadores implica trabajar con las muestras de Monte Carlo directamente, en lugar de promedio, imágenes ruidosas en las que ya se ha perdido la mayor parte de la información. A diferencia de los métodos típicos de aprendizaje profundo que tratan con imágenes o videos, los investigadores demuestran un nuevo tipo de red convolucional que puede aprender a eliminar el ruido de las representaciones directamente desde el conjunto sin procesar de muestras de Monte Carlo en lugar de hacerlo desde el reducido, representaciones basadas en píxeles.

Una parte clave de su trabajo es un nuevo marco computacional de predicción de kernel que "salpica" muestras individuales (colores y texturas) en píxeles cercanos para agudizar la composición general de la imagen. En el procesamiento de imágenes tradicional, se utiliza un núcleo para difuminar o afilar. Splatting es una técnica que aborda el desenfoque de movimiento o los problemas de profundidad de campo y facilita la uniformidad de un área pixelada de una muestra.

En este trabajo, El algoritmo de splatting del equipo genera un kernel 2-D para cada muestra, y "salpica" la muestra sobre la imagen. "Argumentamos que esta es una forma más natural de realizar el posprocesamiento, "dice Li. El equipo entrenó su red usando un generador de escenas aleatorias y probó extensamente su método en una variedad de escenas realistas, incluyendo varios escenarios de iluminación como iluminación indirecta y directa.

"Nuestro método ofrece resultados más limpios con recuentos de muestras muy bajos, donde los métodos anteriores típicamente luchan, "agrega Gharbi.

En el trabajo futuro, los investigadores tienen la intención de abordar la escalabilidad con su método para extender a más características de muestra y explorar técnicas para hacer cumplir la suavidad de fotograma a fotograma de las imágenes eliminadas de ruido.

El papel, "Denoising de Monte Carlo basado en muestras mediante una red de dispersión de núcleos, "también es coautor de Miika Aittala en el MIT y Jaakko Lehtinen en la Universidad de Aalto y Nvidia. Para obtener más detalles y un video, visite la página del proyecto del equipo.