Los teléfonos inteligentes de hoy en día a menudo usan inteligencia artificial (IA) para ayudar a que las fotos que tomamos sean más nítidas y claras. Pero, ¿y si estas herramientas de inteligencia artificial pudieran usarse para crear escenas enteras desde cero?

Un equipo del MIT e IBM ha hecho exactamente eso con "GANpaint Studio, "un sistema que puede generar automáticamente imágenes fotográficas realistas y editar objetos dentro de ellas. Además de ayudar a los artistas y diseñadores a realizar ajustes rápidos en las imágenes, los investigadores dicen que el trabajo puede ayudar a los científicos informáticos a identificar imágenes "falsas".

David Bau, un doctorado estudiante en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (CSAIL), describe el proyecto como una de las primeras veces que los científicos informáticos han podido "pintar con las neuronas" de una red neuronal, específicamente, un tipo popular de red llamado red generativa adversaria (GAN).

Disponible en línea como demostración interactiva, GANpaint Studio permite al usuario cargar una imagen de su elección y modificar múltiples aspectos de su apariencia, desde cambiar el tamaño de los objetos hasta agregar elementos completamente nuevos como árboles y edificios.

Bendición para los diseñadores

Encabezado por el profesor del MIT Antonio Torralba como parte del MIT-IBM Watson AI Lab que dirige, el proyecto tiene vastas aplicaciones potenciales. Los diseñadores y artistas podrían usarlo para realizar ajustes más rápidos en sus imágenes. La adaptación del sistema a los videoclips permitiría a los editores de gráficos por computadora componer rápidamente arreglos específicos de objetos necesarios para una toma en particular. (Imagina, por ejemplo, si un director filmó una escena completa con actores pero olvidó incluir un objeto en el fondo que es importante para la trama).

GANpaint Studio también podría usarse para mejorar y depurar otras GAN que se están desarrollando, analizándolos en busca de unidades "artefactos" que deban eliminarse. En un mundo donde las herramientas de IA opacas han hecho que la manipulación de imágenes sea más fácil que nunca, podría ayudar a los investigadores a comprender mejor las redes neuronales y sus estructuras subyacentes.

"Ahora, Los sistemas de aprendizaje automático son estas cajas negras que no siempre sabemos cómo mejorar, algo así como esos viejos televisores que tienes que arreglar golpeándolos en el costado, "dice Bau, autor principal de un artículo relacionado sobre el sistema con un equipo supervisado por Torralba. "Esta investigación sugiere que, aunque puede dar miedo abrir el televisor y echar un vistazo a todos los cables, va a haber mucha información significativa ahí ".

Un descubrimiento inesperado es que el sistema parece haber aprendido algunas reglas simples sobre las relaciones entre los objetos. De alguna manera sabe que no debe poner algo en un lugar al que no pertenece, como una ventana en el cielo, y también crea diferentes imágenes en diferentes contextos. Por ejemplo, si hay dos edificios diferentes en una imagen y se le pide al sistema que agregue puertas a ambos, no se trata simplemente de agregar puertas idénticas; en última instancia, pueden verse muy diferentes entre sí.

"Todas las aplicaciones de dibujo seguirán las instrucciones del usuario, pero el nuestro podría decidir no dibujar nada si el usuario ordena colocar un objeto en una ubicación imposible, "dice Torralba." Es una herramienta de dibujo con una fuerte personalidad, y abre una ventana que nos permite comprender cómo las GAN aprenden a representar el mundo visual ".

Las GAN son conjuntos de redes neuronales desarrolladas para competir entre sí. En este caso, una red es un generador enfocado en crear imágenes realistas, y el segundo es un discriminador cuyo objetivo es no dejarse engañar por el generador. Cada vez que el discriminador 'atrapa' al generador, tiene que exponer el razonamiento interno de la decisión, lo que permite que el generador mejore continuamente.

"Es realmente alucinante ver cómo este trabajo nos permite ver directamente que las GAN realmente aprenden algo que comienza a parecerse un poco al sentido común, "dice Jaakko Lehtinen, un profesor asociado de la Universidad Aalto de Finlandia que no participó en el proyecto. "Veo esta capacidad como un trampolín crucial para tener sistemas autónomos que realmente puedan funcionar en el mundo humano, que es infinito, complejo y en constante cambio ".

Eliminación de imágenes "falsas" no deseadas

El objetivo del equipo ha sido brindar a las personas más control sobre las redes GAN. Pero reconocen que con un mayor poder viene el potencial de abuso, como usar estas tecnologías para hacer fotos de médicos. El coautor Jun-Yan Zhu dice que cree que una mejor comprensión de las GAN, y los tipos de errores que cometen, ayudará a los investigadores a eliminar mejor las falsificaciones.

"Necesitas conocer a tu oponente antes de poder defenderte, "dice Zhu, un postdoctorado en CSAIL. "Este conocimiento puede ayudarnos a detectar imágenes falsas con mayor facilidad".

Para desarrollar el sistema, el equipo identificó primero las unidades dentro del GAN ​​que se correlacionan con tipos particulares de objetos, como árboles. Luego probó estas unidades individualmente para ver si deshacerse de ellas haría que ciertos objetos desaparecieran o aparecieran. En tono rimbombante, también identificaron las unidades que causan errores visuales (artefactos) y trabajaron para eliminarlos para aumentar la calidad general de la imagen.

"Siempre que las GAN generan imágenes terriblemente poco realistas, la causa de estos errores ha sido previamente un misterio, "dice el coautor Hendrik Strobelt, un científico investigador en IBM. "Descubrimos que estos errores son provocados por conjuntos específicos de neuronas que podemos silenciar para mejorar la calidad de la imagen".

Bau, Strobelt, Torralba y Zhu coescribieron el artículo con el ex Ph.D. de CSAIL. estudiante Bolei Zhou, asociado postdoctoral Jonas Wulff, y el estudiante de pregrado William Peebles. Lo presentarán el próximo mes en la conferencia SIGGRAPH en Los Ángeles. "Este sistema abre una puerta a una mejor comprensión de los modelos GAN, y eso nos ayudará a realizar cualquier tipo de investigación que necesitemos hacer con las GAN, "dice Lehtinen.

Esta historia se vuelve a publicar por cortesía de MIT News (web.mit.edu/newsoffice/), un sitio popular que cubre noticias sobre la investigación del MIT, innovación y docencia.