A través de plataformas de redes sociales populares, los usuarios publican innumerables imágenes todos los días. Solo en Instagram, hay más de 40 mil millones de fotos cargadas, una cifra que se dispara en 95 millones por día. Esto presenta una clara necesidad de herramientas de edición de fotografías intuitivas pero robustas que permitan al usuario medio realizar funciones de edición avanzadas.

Y aunque existe una necesidad definida de edición de imágenes interactiva con respecto a las redes sociales, Las herramientas y los sistemas de edición mejorados también siguen siendo un aspecto importante de los gráficos y la visión por computadora. Sin embargo, hay una falta de herramientas que ofrezcan funciones de edición más complejas para usuarios sin experiencia, como cambiar la expresión facial en una foto.

Un equipo de investigación dirigido por informáticos de la Universidad de Berna-Suiza y la Universidad de Maryland-College Park, han ideado un marco de edición basado en bocetos que permite al usuario editar sus fotos "dibujando" algunos trazos sobre ellas. Su sistema, llamado FaceShop, también ofrece una función de copiar y pegar, que permite a los usuarios editar cualquier parte de una foto copiando y pegando la parte que se va a editar de otra foto (mejor), eliminando la necesidad de dibujar a mano o esbozar cualquier cosa.

El enfoque del equipo se basa en técnicas de aprendizaje automático, cuales, en el final, brinde a los usuarios más control sobre las ediciones deseadas en tiempo real y produzca resultados más realistas.

"La mayoría de los otros enfoques se basan en métodos más tradicionales, técnicas artesanales, que imponen algunas limitaciones. Por ejemplo, estos sistemas están [por diseño] restringidos a conjuntos limitados de operaciones de edición predefinidas, o son muy flexibles pero difíciles de usar y requieren que los usuarios experimentados dediquen una cantidad considerable de tiempo a realizar ediciones bastante básicas, "dice Tiziano Protenier, autor principal del trabajo y Ph.D. candidato en la Universidad de Berna. "A diferencia de, nuestro sistema es muy flexible y permite a los usuarios no capacitados realizar ediciones complejas en minutos utilizando una interfaz intuitiva ".

Protenier desarrolló el nuevo sistema con colaboradores Qiyang Hu, Attila Szabó, Siavash Arjomand Bigdeli y Paolo Favaro de la Universidad de Berna, y Matthias Zwicker de la Universidad de Maryland. El equipo presentará su trabajo en SIGGRAPH 2018, celebrada del 12 al 16 de agosto en Vancouver, Columbia Británica. Esta reunión anual presenta a los principales profesionales del mundo, académica, y mentes creativas a la vanguardia de los gráficos por computadora y las técnicas interactivas.

En su papel "FaceShop:Edición de imágenes faciales basada en bocetos profundos, "los investigadores demuestran su nuevo sistema a través de varios ejemplos. En uno, la nariz de una mujer está ligeramente manipulada, y se edita un mechón de cabello para que se aleje de su rostro, eliminando una sombra oscura que había aparecido en un solo lado de su rostro en la foto original. Otra foto muestra cómo un usuario puede mejorar el maquillaje de ojos de una mujer y resaltar el color de sus ojos. Los ejemplos destacados en el documento muestran cómo funciona el nuevo sistema, intuitivamente, y produce alta calidad, resultados realistas.

El método del equipo se basa en redes neuronales adversarias generativas (GAN), una forma de inteligencia artificial (IA) que, en años recientes, ha atraído mucho interés en la investigación por su capacidad para generar imágenes de aspecto realista. Estos GAN constan de dos IA que luchan entre sí. El primer componente intenta distinguir las imágenes generadas de las imágenes genuinas, mientras que el segundo componente intenta producir imágenes que engañen a la otra IA. Durante el entrenamiento, los dos componentes aprenden el uno del otro, eventualmente resultando en un sistema que aprendió de manera autónoma a producir imágenes de aspecto realista, sin ningún juicio humano en el bucle.

A diferencia de otros métodos de edición de imágenes basados ​​en IA, una vez que el sistema está entrenado, los usuarios tienen más control sobre las ediciones de sus fotos. "Nuestro sistema presenta un grado óptimo de control, lo que lo hace muy interesante desde el punto de vista de la aplicación, "señala Portenier." Otras técnicas que intentan incorporar el control del usuario están limitadas en el alcance de las posibles ediciones o se ha demostrado que funcionan bien en los datos que se utilizaron para entrenar los sistemas, pero fallan en producir resultados convincentes con la participación real del usuario. Presentamos una técnica que mitiga este problema, dando como resultado un sistema que funciona sorprendentemente bien en la práctica ".

En el trabajo futuro, los investigadores tienen la intención de explorar herramientas de interacción del usuario adicionales para agregar a su marco, y considere cómo aprovechar la inteligencia artificial para la edición de videos basada en bocetos.