Los marcos vacíos que cuelgan dentro del Museo Isabella Stewart Gardner sirven como un recordatorio concreto del mayor atraco de arte sin resolver del mundo. Si bien es posible que nunca descubramos esas obras maestras originales, un equipo del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (CSAIL) podría ayudar, con un nuevo sistema destinado al diseño de reproducciones de pinturas.

"RePaint" utiliza una combinación de impresión 3D y aprendizaje profundo para recrear auténticamente sus pinturas favoritas, independientemente de las diferentes condiciones de iluminación o ubicación. RePaint podría usarse para rehacer obras de arte para su hogar, proteger los originales del desgaste en los museos, o incluso ayudar a las empresas a crear impresiones y postales de piezas históricas.

"Si reproduce el color de una pintura tal como se ve en la galería, puede verse diferente en tu casa, "dice Changil Kim, uno de los autores de un nuevo artículo sobre el sistema, que se presentará en ACM SIGGRAPH Asia en diciembre. "Nuestro sistema funciona bajo cualquier condición de iluminación, que muestra una capacidad de reproducción de color mucho mayor que casi cualquier otro trabajo anterior ".

Para probar RePaint, el equipo reprodujo una serie de pinturas al óleo creadas por su colaborador artista. El equipo descubrió que RePaint era más de cuatro veces más preciso que los modelos físicos de última generación a la hora de crear los tonos de color exactos para diferentes obras de arte.

En este momento, las reproducciones son solo del tamaño de una tarjeta de presentación, debido a la naturaleza costosa en tiempo de la impresión. En el futuro, el equipo espera que los más avanzados, Las impresoras 3D comerciales podrían ayudar a realizar pinturas más grandes de manera más eficiente.

Cómo funciona Si bien las impresoras 2-D se utilizan con mayor frecuencia para reproducir pinturas, si tienes un cielo azul o un vestido morado en tu obra de arte, puede que no tengas suerte. Esto se debe a que las impresoras 2-D tienen un conjunto fijo de solo cuatro tintas (cian, magenta, amarillo, y negro).

Los investigadores, sin embargo, encontró una mejor manera de capturar un espectro más completo de Degas y Dali. Utilizaron una técnica especial que desarrollaron llamada "color-contoning", que implica el uso de una impresora 3-D y 10 tintas transparentes diferentes apiladas en capas muy delgadas, al igual que las obleas y el chocolate en una barra de Kit-Kat. Combinaron su método con una técnica de hace décadas llamada "medios tonos", donde una imagen es creada por toneladas de pequeños puntos de tinta, en lugar de tonos continuos. Combinando estos, el equipo dice, Capturó mejor los matices de los colores.

Con una gama de colores más amplia para trabajar, la cuestión de qué tintas utilizar para las que aún quedan pinturas. En lugar de utilizar enfoques físicos más laboriosos, el equipo entrenó un modelo de aprendizaje profundo para predecir la pila óptima de diferentes tintas. Una vez que el sistema se encargó de eso, luego se alimentaron de imágenes de cuadros, y usó el modelo para determinar qué colores deben usarse en qué áreas particulares para pinturas específicas.

A pesar del progreso hasta ahora, el equipo dice que tienen algunas mejoras que hacer antes de poder crear un deslumbrante engaño de "Starry Night". Según el ingeniero mecánico Mike Foshey, no podían reproducir completamente ciertos colores como el azul cobalto debido a una biblioteca de tintas limitada.

En el futuro planean expandir esta biblioteca, así como crear un algoritmo específico de pintura para seleccionar tintas. También pueden esperar lograr mejores detalles para tener en cuenta aspectos como la textura y la reflexión de la superficie, para que puedan lograr efectos específicos como acabados brillantes y mate.

"El valor de las bellas artes ha aumentado rápidamente en los últimos años, por lo que hay una mayor tendencia a que se encierre en almacenes lejos de la vista del público, ", dice Foshey." Estamos desarrollando la tecnología para revertir esta tendencia, y para crear reproducciones precisas y económicas que puedan ser disfrutadas por todos ".

Kim y Foshey trabajaron en el sistema junto con el autor principal Liang Shi, El profesor del MIT Wojciech Matusik, ex postdoctorado del MIT Vahid Babaei, ahora líder de grupo en el Instituto de Informática Max Planck, El profesor de ciencias de la computación de la Universidad de Princeton, Szymon Rusinkiewicz, y el ex postdoctorado del MIT Pitchaya Sitthi-Amorn, ahora profesor en la Universidad de Chulalongkorn en Bangkok, Tailandia