Investigadores de la Universidad de Pittsburgh han desarrollado recientemente un codificador automático variacional condicional que puede producir caras únicas para anuncios. Su estudio se basa en su trabajo anterior, que exploró métodos automatizados para comprender mejor la publicidad.

"En nuestro proyecto anterior, queríamos ver si las máquinas podían decodificar la compleja retórica visual que se encuentra en los anuncios, "Christopher Thomas, uno de los investigadores que realizó el estudio, le dijo a Tech Xplore. "Los anuncios contienen juegos de palabras, metáforas, y otros recursos retóricos persuasivos que son difíciles de entender para las máquinas. En este papel, no solo queríamos entender los anuncios, pero queríamos ver si las computadoras podían generar automáticamente un contenido tan persuasivo ".

La misión principal de la industria de la publicidad es promover productos o transmitir ideas utilizando lenguaje e imágenes persuasivas. Caras, un aspecto clave de los anuncios, a menudo se representan de manera diferente según el producto anunciado y el mensaje comunicado.

En colaboración con su colega Adriana Kovashka, Thomas utilizó el aprendizaje automático para generar caras persuasivas que funcionarían bien para diferentes tipos de anuncios. Utilizaron codificadores automáticos variacionales condicionales, o "modelos generativos, "Modelos de aprendizaje automático que aprenden a generar datos sintéticos similares a aquellos en los que se entrena.

"En visión artificial, Los codificadores automáticos funcionan tomando una imagen y aprendiendo a representar esa imagen como unos pocos números, "Thomas dijo." Entonces, una segunda pieza del modelo, el decodificador, aprende a tomar esos números y reproducir la imagen original a partir de ellos. Casi se puede pensar en ello como una forma de compresión, en el que una imagen grande está representada por unos pocos números ".

Cuando este tipo de modelo de aprendizaje automático se entrena en un conjunto de datos lo suficientemente grande, comienza a representar aspectos semánticos dentro de los números. Por ejemplo, en el modelo desarrollado por Thomas y Kovashka, un número controlaría la forma de una cara, otro el tono de la piel, y así sucesivamente para otras características semánticas.

Sin embargo, si los investigadores quisieran que el modelo capturara si una persona usa anteojos, pero el conjunto de datos de entrenamiento no contenía suficientes imágenes de personas con gafas, esta propiedad se perdería cuando se reconstruye la imagen. Por lo tanto, desarrollaron un codificador automático condicional, lo que significa que podrían agregar otros números al modelo que no había adquirido solo, que representan características semánticas que pueden ser relevantes para anuncios particulares.

"Lo bueno de esto es que una vez que entrenamos el modelo para representar caras en 100 números, si luego cambiamos algunos de esos números y los "decodificamos", podemos cambiar la cara, ", Dijo Thomas." De este modo, podemos transformar las caras existentes para que se vean iguales pero tengan atributos diferentes, como anteojos, sonriendo o no, etc., simplemente cambiando algunos de los números que utiliza nuestro modelo para representarlos ".

El entrenamiento de modelos generativos para la visión por computadora puede ser una tarea desafiante, que requieren grandes conjuntos de datos de imágenes y, a menudo, fallan cuando se entrena con datos muy diversos, como anuncios. Thomas y Kovashka superaron estas limitaciones mediante el uso de un codificador automático que requería menos datos y podía hacer frente a la considerable variación encontrada en la publicidad.

"Aún así, porque no había suficientes datos, no siempre capturó los conceptos que queríamos en sus representaciones, "dice Thomas". inyectamos deliberadamente semántica en su representación, lo que mejoró significativamente los resultados ".

Sus hallazgos sugieren que en el futuro, Los anunciantes podrán crear anuncios personalizados y dirigidos que se adapten a clientes individuales. Por ejemplo, podrían generar rostros con rasgos faciales que coincidan con los del espectador, para que se identifiquen más con el tema.

"Este tipo de La personalización detallada de los anuncios podría tener enormes implicaciones para los anunciantes en línea. "dice Thomas". Además, un anunciante que no quiera contratar un modelo adicional para su anuncio o realizar una edición manual puede transformar una cara existente de otro anuncio en una cara adecuada para su tipo de anuncio ".

Los investigadores ahora están explorando formas en las que podrían mejorar las imágenes generadas para que coincidan con la calidad de las producidas utilizando grandes cantidades de datos. Para hacer esto, necesitarán diseñar otros modelos generativos que sean más robustos cuando se entrenan con datos muy variados y limitados.

"Otra posible línea de investigación es generar otros objetos además de caras, o incluso generar anuncios completos que sean significativos e interesantes, "dice Thomas." Esto requeriría el desarrollo de nuevas técnicas para modelar la estructura retórica en un marco generativo, combinado con comprensión y generación de textos ".

© 2018 Tech Xplore