Investigadores de TU Delft en los Países Bajos han desarrollado recientemente un modelo basado en la red neuronal convolucional (CNN) para reconstruir dibujos que se han deteriorado con el tiempo. En su estudio, publicado en Springer's Visión artificial y aplicaciones , utilizaron específicamente el modelo para reconstruir algunos de los dibujos de Vincent Van Gogh que se arruinaron a lo largo de los años debido a la decoloración y decoloración de la tinta.

"Los Países Bajos tienen una reputación internacional con respecto a las artes, con artistas famosos como Rembrandt, Mondrian y Van Gogh, "Jan van der Lubbe, uno de los investigadores que realizó el estudio, dijo a TechXplore. "Por lo tanto, la investigación histórica del arte y la investigación sobre cómo preservar el patrimonio cultural desempeñan un papel importante en los Países Bajos ".

En años recientes, un número creciente de investigadores ha intentado desarrollar técnicas de aprendizaje automático, como las CNN, para el análisis de obras de arte. Hasta aquí, estas herramientas se han utilizado principalmente para identificar al artista que creó obras de arte específicas o para determinar si las pinturas son reales o falsas.

En contraste con investigaciones previas, van der Lubbe y sus colegas se propusieron investigar el uso de técnicas de aprendizaje automático para la reconstrucción en píxeles de pinturas deterioradas. En lo que respecta a la conservación del arte, el deterioro de pinturas y dibujos es un desafío clave, por lo que las herramientas que pueden reconstruir automáticamente obras de arte incompletas o arruinadas simplificarían enormemente el trabajo de los historiadores del arte.

El equipo de investigadores de TU Delft entrenó su modelo basado en CNN en reproducciones de dibujos deteriorados del pintor postimpresionista Van Gogh. De hecho, algunos de los dibujos a tinta de Van Gogh se han deteriorado significativamente durante el siglo pasado, y los historiadores del arte a menudo han intentado reproducirlos.

Estos dibujos no se pueden exhibir actualmente, y en unas pocas décadas pueden deteriorarse por completo. Teniendo esto en cuenta, Van der Lubbe y sus colegas querían desarrollar un modelo que pudiera reconstruir automáticamente estas invaluables obras de arte para preservarlas y hacerlas accesibles al público.

"Uno de los principales objetivos de nuestra investigación fue predecir el original, apariciones pasadas y futuras de obras de arte en papel mediante métodos de aprendizaje automático que integran los resultados tanto de estudios en profundidad de los colores utilizados como de su decoloración a lo largo del tiempo, ", dijo van der Lubbe." Esto podría ayudar a imaginar cómo, por ejemplo, un dibujo de Van Gogh puede haber mirado en el momento de su creación ".

El enfoque ideado por van der Lubbe y sus colegas combina técnicas para el análisis de imágenes de resolución múltiple y CNN profundas para predecir las apariciones pasadas de dibujos en píxeles. Las CNN son algoritmos inspirados en redes neuronales biológicas, como las del cerebro humano, que se pueden entrenar para completar tareas específicas mediante el análisis de grandes cantidades de datos.

"Hasta donde sabemos, hay muy pocos estudios previos sobre el uso de métodos de aprendizaje automático para la reconstrucción digital de obras de arte, ", dijo van der Lubbe." Esa es la idea clave que impulsa nuestra investigación y el uso del aprendizaje automático para reconstruir obras de arte. De estudios anteriores en los que hemos considerado diferentes algoritmos de aprendizaje automático, Los enfoques de redes neuronales convolucionales (CNN) parecían muy prometedores ".

En su estudio, los investigadores entrenaron específicamente a una CNN para reconstruir digitalmente dibujos de Van Gogh descoloridos en papel. El algoritmo se entrenó en un conjunto de datos que contiene reproducciones de los dibujos originales de calidad variable, hecho en diferentes momentos durante el siglo pasado.

"Los ejemplos que usamos en nuestro estudio son reproducciones de dibujos de Van Gogh en los que el contenido y el color se han desvanecido menos severamente, por lo que están más cerca del dibujo original realizado por Van Gogh, ", dijo van der Lubbe." Obtuvimos los dibujos y reproducciones originales de la colección del Museo Van Gogh ".

Además de revelar cómo se veían los dibujos en el pasado, el enfoque propuesto por van der Lubbe y sus colegas podría ayudar a los historiadores del arte a identificar estrategias apropiadas de conservación y restauración de obras de arte, así como prácticas efectivas para la preservación y exhibición de obras de arte.

Los investigadores evaluaron su modelo en una serie de experimentos y encontraron que logró resultados notables. Sus hallazgos destacan la viabilidad de utilizar el aprendizaje automático para la reconstrucción predictiva de imágenes degradadas, documentos y obras de arte. Aunque los investigadores utilizaron específicamente su modelo para reconstruir los dibujos de Van Gogh, también podría aplicarse a otras obras de arte en deterioro en papel oa manuscritos del siglo XIX.

"Obtuvimos mejores resultados para la reconstrucción digital de dibujos de Van Gogh que los obtenidos hasta ahora con otros métodos, ", dijo van der Lubbe." Por supuesto, Van Gogh fue solo una prueba o un ejemplo. Nuestra técnica también podría extenderse más allá de los dibujos de Van Gogh a dibujos de otros artistas, pinturas y documentos antiguos ".

En el futuro, la herramienta desarrollada por van der Lubbe y sus colegas podría ayudar a los historiadores del arte a crear reconstrucciones realistas de obras de arte que, de otro modo, podrían deteriorarse por completo. En su estudio reciente, los investigadores se centraron en un dibujo a la vez, capacitando a su CNN en un número limitado de reproducciones. Sin embargo, el modelo también podría usarse para predecir cómo se veía el dibujo original en base a una cantidad mucho mayor de reproducciones.

Además, esta técnica funciona actualmente analizando información visual. En sus próximos estudios, A los investigadores les gustaría investigar si el análisis de información visual y relacionada con la química (por ejemplo, la composición de la tinta y su tasa de degradación) pueden mejorar el rendimiento del modelo.

"En el presente estudio, teníamos un dibujo actual degradado, ", dijo van der Lubbe." Creemos que también sería un gran desafío reconstruir el dibujo original, particularmente en los casos en que el original no está disponible o ha desaparecido, por lo tanto, solo tenemos reproducciones del pasado ".

© 2019 Science X Network