Para aquellos que aún no están familiarizados con las herramientas de reconstrucción de fotografías, El título de este artículo sobre arXiv puede ser totalmente desconcertante:"Pintura en imagen para agujeros irregulares usando convoluciones parciales". La investigación, aunque, de un equipo de NVIDIA, señala el camino hacia emocionantes mejoras en la tienda para aquellos que deben realizar la edición de imágenes y que desean buenos resultados.

La imagen en la pintura consiste en rellenar los huecos de una imagen. Se puede utilizar para eliminar contenido de imagen que no se desea, mientras llena el espacio con imágenes plausibles. Volviendo al título de su artículo, el equipo exploró su opinión sobre un proceso mejorado, que podría implementarse en software de edición de fotografías.

En el Centro de noticias para desarrolladores de NVIDIA hay una descripción general de su investigación. Se les ocurrió un método que sirve para (1) editar imágenes o (2) reconstruir una imagen dañada, uno que tiene agujeros o le faltan píxeles. Y cuando dijeron "editar, "que incluye eliminar contenido y rellenar los huecos.

El video muestra claramente lo interesante que puede ser esto, presentando conjuntos de fotos antes y después de que comience el proceso de blanqueamiento. Las escenas para una son una roca al aire libre y otra es una biblioteca en el interior. Otro conjunto muestra los rostros de los humanos, incluyendo una mujer, varones jóvenes y un anciano.

¿De qué se trata su trabajo?

"Investigadores de NVIDIA, dirigido por Guilin Liu, introdujo un método de aprendizaje profundo de última generación que puede editar imágenes o reconstruir una imagen dañada, uno que tiene agujeros o le faltan píxeles. El método también se puede utilizar para editar imágenes eliminando contenido y rellenando los huecos resultantes ". Eso es según las notas del video.

En juego había dos fases, la fase de formación y la fase de prueba.

Para prepararse para entrenar su red neuronal, el equipo primero generó máscaras de rayas aleatorias y agujeros de formas y tamaños arbitrarios para el entrenamiento, dijo el informe del centro de noticias. Las categorías se diseñaron en función de los tamaños en relación con la imagen de entrada, para mejorar la precisión de la reconstrucción. El entrenamiento de la red neuronal involucró las máscaras generadas a imágenes de ImageNet, Conjuntos de datos de Places2 y CelebA-HQ.

"Durante la fase de formación, los agujeros o las partes faltantes se introducen en imágenes de entrenamiento completas de los conjuntos de datos anteriores, para permitir que la red aprenda a reconstruir los píxeles faltantes. Durante la fase de prueba, diferentes agujeros o piezas faltantes, no se aplica durante el entrenamiento, se introducen en las imágenes de prueba en el conjunto de datos, para realizar una validación imparcial de la precisión de la reconstrucción ".

Por qué se destaca su trabajo:"Según nuestro leal saber y entender, somos los primeros en demostrar la eficacia de la imagen de aprendizaje profundo en la pintura de modelos en agujeros de forma irregular ".

Los investigadores conocían los métodos de pintura existentes basados ​​en el aprendizaje profundo. Estos usaban "una red convolucional estándar sobre la imagen dañada, usando respuestas de filtro convolucional condicionadas tanto en píxeles válidos como en los valores sustitutos en los agujeros enmascarados (típicamente el valor medio). Dijeron que esto a menudo conduce a artefactos como discrepancia de color y borrosidad. El posprocesamiento se usa generalmente para reducir tales artefactos, pero son caras y pueden fallar ".

Dijeron que estaban proponiendo convoluciones parciales, por lo que "la convolución se enmascara y se renormaliza para estar condicionada solo a píxeles válidos".

Mostraron comparaciones cualitativas y cuantitativas con otros métodos para validar su enfoque, y afirmaron que su modelo "supera a otros métodos para máscaras irregulares".

Los autores del artículo son Guilin Liu, Fitsum Reda, Kevin Shih, Ting-Chun Wang, Andrew Tao y Bryan Catanzaro.

© 2018 Tech Xplore