El dibujo de retrato de caricatura es una forma de arte distinta en la que los artistas dibujan el rostro de una persona de manera exagerada, la mayoría de las veces para provocar humor. Automatizar esta técnica plantea desafíos debido a la cantidad de intrincados detalles y formas involucradas y al nivel de habilidades profesionales que se necesitan para transformar artísticamente a una persona de su yo real a uno creativamente exagerado.

Un equipo de científicos informáticos de la City University of Hong Kong y Microsoft, han desarrollado un enfoque innovador basado en el aprendizaje profundo para generar automáticamente la caricatura de un retrato determinado, y permitir que los usuarios lo hagan de manera eficiente y realista.

"En comparación con los métodos tradicionales basados ​​en gráficos que definen reglas hechas a mano, nuestro enfoque novedoso aprovecha el big data y el aprendizaje automático para sintetizar caricaturas de miles de ejemplos dibujados por artistas profesionales, "dice Kaidi Cao, autor principal, quien actualmente es un estudiante de posgrado en ciencias de la computación en la Universidad de Stanford, pero realizó el trabajo durante su pasantía en Microsoft. "Si bien los métodos de transferencia de estilo existentes se han centrado principalmente en el estilo de apariencia, nuestra técnica logra tanto la exageración geométrica como la estilización de la apariencia involucrada en el dibujo de una caricatura. "El método permite a los usuarios automatizar caricaturas de retratos, y se puede aplicar a tareas como crear avatares caricaturizados para redes sociales, y diseño de personajes de dibujos animados. La técnica también tiene aplicaciones potenciales en marketing, publicidad y periodismo.

Cao colaboró ​​en la investigación con Jing Liao de City University of Hong Kong y Lu Yuan de Microsoft, y los tres planes para presentar su trabajo en SIGGRAPH Asia 2018 en Tokio del 4 al 7 de diciembre. La conferencia anual presenta a los miembros técnicos y creativos más respetados en el campo de los gráficos por computadora y las técnicas interactivas, y muestra investigaciones científicas de vanguardia, Arte, juegos y animación, entre otros sectores.

En este trabajo, los investigadores recurrieron a una técnica conocida en el aprendizaje automático, Red Generativa Adversarial (GAN), para la traducción de foto a caricatura sin emparejar para generar caricaturas que preserven la identidad del retrato. Llamado "CariGANs", el marco computacional modela con precisión la exageración geométrica en fotos (formas de caras, ángulos específicos) y estilización de la apariencia (mirada, sentir, trazos de lápiz, sombreado) a través de dos algoritmos que los investigadores han etiquetado, CariGeoGAN y CariStyGAN.

CariGeoGAN solo modela el mapeo de geometría a geometría de fotos de caras a caricaturas y CariStyGAN transfiere la apariencia de estilo de caricaturas a fotos de caras sin ninguna deformación de la geometría de la imagen original. Las dos redes se entrenan por separado para cada tarea para que el procedimiento de aprendizaje sea más robusto, señalan los investigadores. El marco CariGANs permite a los usuarios controlar el grado de exageración en el estilo geométrico y de apariencia arrastrando diapositivas o dando una caricatura de ejemplo.

Cao y sus colaboradores realizaron estudios de percepción para evaluar la capacidad de su marco para generar caricaturas de retratos que son fácilmente reconocibles y no están demasiado distorsionados en forma y estilo de apariencia. Por ejemplo, un estudio evaluó qué tan bien se conserva la identidad de una imagen utilizando el método CariGANs en comparación con los métodos existentes para traducir el arte de la caricatura. Ellos demostraron a través de varios ejemplos, que los métodos existentes dieron como resultado una irreconocible traducción de caricaturas. A los participantes del estudio les resultó demasiado difícil hacer coincidir las caricaturas resultantes con los sujetos originales porque los resultados finales eran demasiado exagerados o poco claros. El método de los investigadores generó con éxito más claridad, representaciones caricaturizadas más precisas de fotografías de retratos, como si fueran dibujados a mano por un artista profesional.

En la actualidad, el enfoque de este trabajo se ha centrado en caricaturas de personas, principalmente fotografías o retratos. En el trabajo futuro, los investigadores tienen la intención de explorar más allá de la generación de caricaturas faciales en escenas de cuerpo completo o más complejas. También están interesados ​​en diseñar sistemas mejorados de interacción persona-computadora (HCI) que les brinden a los usuarios más libertad y control sobre los resultados generados por el aprendizaje automático.