Un equipo de informáticos del Centro Interdisciplinario de Israel ha desarrollado un método innovador para analizar automáticamente el retrato artístico, capturando un alto nivel de detalle y precisión de los retratos, así como el estilo individual de los artistas. Centrado en diseñar un método computacional para detectar rasgos faciales en obras de arte, o puntos de referencia faciales como las comisuras de los ojos o de la boca, los investigadores han extendido con éxito el trabajo realizado en fotografías de imágenes de rostros naturales al campo del retrato artístico.

"Debido a que no hay datos de entrenamiento de pinturas de retratos que contienen puntos de referencia faciales, nuestra idea clave era crear dichos datos utilizando lo que llamamos 'aumento artístico, '", dice el profesor Ariel Shamir, autor principal del estudio y decano de la Escuela de Ciencias de la Computación Efi Arazi en el Centro Interdisciplinario Herzliya. "Transformamos los datos de rostros fotográficos para que sean más similares a los retratos artísticos y los usamos para entrenar nuevos modelos de redes neuronales que funcionen mejor para las entradas artísticas. Al usar nuestros modelos, no solo obtuvimos una mayor precisión en los retratos, pero tampoco perdimos mucha precisión en rostros naturales ".

Shamir, junto con sus alumnos Jordan Yaniv y Yael Newman, están listos para presentar su trabajo en SIGGRAPH 2019, celebrada del 28 de julio al 1 de agosto en Los Ángeles. Esta reunión anual presenta a los principales profesionales del mundo, académica, y mentes creativas a la vanguardia de los gráficos por computadora y las técnicas interactivas.

Los puntos de referencia guían el estilo

Las diferencias clave entre los retratos artísticos y las imágenes faciales naturales son dobles:diferencias en la apariencia de la textura y diferencias geométricas. El trabajo anterior en esta área de investigación se centró principalmente en capturar el estilo de apariencia del arte, y no el estilo geométrico. Con retratos artísticos, el estilo geométrico es imperativo, tenga en cuenta los autores del estudio, pero desafiante de capturar, ya que cada artista tiene su propia creatividad, estilo distinto.

"Por ejemplo, el pintor italiano Clemente Modigliani es conocido por pintar caras alargadas, y la pintora estadounidense Margaret Keane es conocida por pintar caras con grandes, ojos exagerados, ", dice Shamir." Nuestro trabajo permite que las computadoras y los algoritmos revelen esta información y reconozcan este aspecto del estilo geométrico en las pinturas de retratos ".

Para capturar estilos geométricos en retratos, es necesario reconocer los rasgos faciales y la estructura del rostro en la pintura. Para tal fin, El método de los investigadores se concentra en detectar rasgos faciales en la obra de arte, utilizando puntos de referencia en la cara. Dependiendo del estilo del artista, estas características pueden ser de formas diversas y exageradas, no parecerse a rostros humanos reales. Para superar este desafío, aplican un método conocido llamado "aumento" de imágenes faciales naturales, transformar fotografías de imágenes faciales naturales para que sean más similares a los retratos "artísticos", y entrenar redes neuronales para detectar los puntos de referencia.

Los investigadores evaluaron su método de detección de puntos de referencia mediante la creación de un conjunto de datos de rostros artísticos que contienen 160 retratos artísticos de 16 artistas diferentes de varios géneros y estilos. con grandes variaciones tanto en geometría como en textura. En el documento que describe su trabajo, también demuestran varias aplicaciones para la detección de rasgos faciales artísticos y el análisis de estilos geométricos. Estos incluyen comprender el estilo de artistas específicos, comparar estilos de diferentes artistas, y siguiendo posibles tendencias de estilos artísticos. Otra aplicación popular es la transferencia de estilo:donde se puede transformar una imagen de entrada dada de una cara en una pintura al estilo de un artista dado, tanto en textura como en geometría.

En el trabajo futuro, el equipo espera usar la firma del estilo geométrico para construir clasificadores que puedan reconocer a un artista específico y ampliar la definición del estilo geométrico más allá de los rostros, un desafío actual en gráficos por computadora y arte.