Investigadores de UC Berkeley y Ecole des Ponts Paris Tech han desarrollado recientemente un enfoque de aprendizaje profundo para descubrir patrones visuales recurrentes en colecciones de arte. Su papel prepublicado en arXiv, se presentará en CVPR 2019, un evento de visión por computadora de renombre en junio.

Si bien cada obra de arte puede parecer única, Los artistas suelen utilizar elementos o motivos visuales recurrentes (por ejemplo, ángeles, molinos de viento etc.). Por ejemplo, los críticos creen que algunas pinturas del pintor flamenco Jan Brueghel eran meras imitaciones o adaptaciones de sus propias obras, así como los de su padre, Pieter Breughel.

En su investigación, Los historiadores del arte a menudo intentan trazar conexiones visuales entre diferentes obras de arte, ya que esto podría arrojar algo de luz sobre su procedencia y autoría. Sin embargo, descubrir patrones visuales similares en grandes colecciones de arte puede ser un gran desafío tanto para humanos como para máquinas.

"Comenzamos este proyecto luego de una presentación y discusión con un historiador del arte, Elizabeth Honig, dónde presentó tales correspondencias y por qué eran importantes para ella en su estudio de las obras de Brueghel, "Mathieu Aubry, uno de los investigadores que realizó el estudio, dijo a TechXplore. "Nuestro primer objetivo era hacer que el trabajo de los historiadores del arte fuera más fácil y escalable al identificar automáticamente en las colecciones de imágenes digitales detalles que se copiaron directamente entre diferentes obras, a pesar de pequeñas modificaciones y diferencias en el estilo de la representación (por ejemplo, grabado, cuadro, dibujo, etc.) ".

En su estudio reciente, Aubry y sus colegas propusieron un enfoque que puede descubrir automáticamente patrones visuales recurrentes en grandes colecciones de arte. Esencialmente, entrenaron un modelo de aprendizaje automático sin supervisión para encontrar correspondencias entre elementos visuales casi duplicados en diferentes obras de arte.

"La principal novedad de nuestro enfoque es aprender, sin supervisión humana, un descriptor de imagen profundo adaptado específicamente a nuestra tarea:hacer coincidir copias exactas en diferentes estilos de representación, "Aubry explicó." Para hacerlo, introducimos un procedimiento que valida las correspondencias candidatas utilizando la coherencia espacial entre coincidencias vecinas ".

Los investigadores utilizaron la consistencia espacial entre coincidencias de características vecinas como una señal de supervisión de ajuste fino. Esta característica adaptada conduce a una coincidencia de estilo invariante más precisa. Combinado con un enfoque de descubrimiento estándar basado en verificación geométrica, la función permite que su enfoque de aprendizaje profundo identifique patrones duplicados en grandes conjuntos de datos de arte.

"Nuestro trabajo de CVPR se centró en los aspectos de la visión por computadora. Las colaboraciones con historiadores del arte para aplicar el método que desarrollamos para analizar las colecciones de obras de arte aún están en curso, ", Dijo Aubry." Creemos que realmente cambiará tanto la escala como el tipo de estudio que realizarán los historiadores del arte, permitiéndoles buscar y analizar conexiones entre obras de arte a una escala mucho mayor. En efecto, al intentar anotar conexiones para solo algunos detalles en un conjunto de datos de escala media, vimos de primera mano lo tedioso y costoso que era realizar un proceso de este tipo manualmente ".

Aubry y sus colegas evaluaron su método en varios conjuntos de datos, incluido el conjunto de datos fotográficos Oxford5K y un conjunto de datos recientemente anotado de obras de arte atribuidas a la familia Brueghel. En estas evaluaciones, su enfoque logró resultados notables, superando otras técnicas de vanguardia para descubrir patrones visuales en obras de arte. Además, su enfoque logró un rendimiento de vanguardia en el conjunto de datos de ubicación de gran intervalo de tiempo, localizar eficazmente fotografías de arquitectura histórica y modernas.

En el futuro, El enfoque de aprendizaje profundo ideado por Aubry y sus colegas podría ayudar a los historiadores del arte a descubrir patrones visuales en grandes colecciones de arte. Según los investigadores, su enfoque también se puede transferir fácilmente a otros problemas, como la geolocalización y el reconocimiento histórico de marcas de agua.

"Queremos impulsar las aplicaciones de nuestro enfoque en humanidades, trabajando directamente con los historiadores del arte para adaptar nuestro método a sus necesidades específicas y ayudándoles a utilizarlo, ", Dijo Aubry." También planeamos trabajar en extender la idea de aprovechar la redundancia y la consistencia espacial en el aprendizaje profundo a diferentes tipos de imágenes y diferentes tipos de aplicaciones ".

© 2019 Science X Network