A muchos diseñadores para el mundo virtual les resulta difícil diseñar texturas o patrones complejos y creíbles de manera eficiente a gran escala. En efecto, la llamada "síntesis de texturas, "el diseño de texturas precisas, como ondas de agua en un río, paredes de concreto, o patrones de hojas, sigue siendo una tarea difícil para los artistas. Una gran cantidad de texturas no estacionarias en el "mundo real" podrían recrearse en juegos o mundos virtuales, pero las técnicas existentes son tediosas y requieren mucho tiempo.

Para abordar este desafío, un equipo global de científicos informáticos ha desarrollado una técnica única basada en inteligencia artificial que entrena a una red para que aprenda a expandir texturas pequeñas en texturas más grandes. El método basado en datos de los investigadores aprovecha una técnica de inteligencia artificial llamada redes generativas adversarias (GAN) para entrenar a las computadoras a expandir texturas de un parche de muestra a instancias más grandes que se asemejan mejor a la muestra original.

"Nuestro enfoque trata con éxito con texturas no estacionarias sin ninguna descripción semántica o de alto nivel de la estructura a gran escala, "dice Yang Zhou, autor principal del trabajo y profesor asistente en la Universidad de Shenzhen y la Universidad de Ciencia y Tecnología de Huazhong. "Puede hacer frente a texturas muy desafiantes, cuales, a nuestro conocimiento, ningún otro método existente puede manejar. Los resultados son diseños realistas producidos en alta resolución, eficientemente, ya una escala mucho mayor ".

El objetivo básico de la síntesis de texturas basada en ejemplos es generar una textura, generalmente de mayor tamaño que la entrada, que captura de cerca las características visuales de la entrada de muestra, aunque no del todo idéntica a ella, y mantiene una apariencia realista. Ejemplos de texturas no estacionarias incluyen texturas con estructuras irregulares a gran escala, o aquellos que exhiben variación espacial en ciertos atributos como el color, orientación local, y escala local. En el papel, los investigadores probaron su método en ejemplos tan complejos como plumas de pavo real y ondas en el tronco de un árbol, que son aparentemente interminables en sus patrones repetitivos.

Zhou y sus colaboradores, incluidos Zhen Zhu y Xiang Bai (Universidad de Huazhong), Dani Lischinski (Universidad Hebrea de Jerusalén), Daniel Cohen-Or (Universidad de Shenzhen y Universidad de Tel Aviv), y Hui Huang (Universidad de Shenzhen), presentará su trabajo en SIGGRAPH 2018, celebrada del 12 al 16 de agosto en Vancouver, Columbia Británica. Esta reunión anual presenta a los principales profesionales del mundo, académica, y mentes creativas a la vanguardia de los gráficos por computadora y las técnicas interactivas.

Su método implica entrenar una red generativa, llamado generador, aprender a expandirse (es decir, el doble de la extensión espacial de) un bloque de textura arbitrario recortado de un ejemplar, de modo que el resultado expandido sea visualmente similar a un bloque ejemplar contenedor del tamaño apropiado (dos veces más grande). La similitud visual entre el bloque expandido automáticamente y el bloque contenedor real se evalúa utilizando una red discriminativa (discriminador). Como es típico de las GAN, el discriminador se entrena en paralelo al generador para distinguir entre los bloques grandes reales del ejemplar y los producidos por el generador.

Dice Zhou, "Asombrosamente, Descubrimos que al usar un concepto tan simple, estrategia de entrenamiento adversarial auto-supervisada, la red entrenada funciona casi a la perfección en una amplia gama de texturas, incluyendo texturas tanto estacionarias como muy no estacionarias ".

La herramienta está destinada a ayudar a los artistas de texturas en el diseño de videojuegos, realidad virtual, y animación. Una vez que se lleva a cabo el entrenamiento contradictorio auto-supervisado para cada muestra de textura dada, el marco se puede utilizar para generar texturas extendidas automáticamente, hasta el doble del tamaño de la muestra original. Por el camino, los investigadores esperan que su sistema sea capaz de extraer información de alto nivel de texturas sin supervisión.

Adicionalmente, en trabajos futuros, el equipo tiene la intención de entrenar un modelo "universal" en un conjunto de datos de texturas a gran escala, así como aumentar el control del usuario. Para los artistas de texturas, La síntesis controlada con interacción del usuario probablemente será aún más útil, ya que los artistas tienden a manipular las texturas para su propio diseño.

Para el artículo completo y el video, visite la página del proyecto del equipo.