Mezclas visuales, que unen dos objetos de una manera inusual, forma llamativa, son una técnica avanzada de diseño gráfico utilizada en publicidad, márketing, y los medios de comunicación para llamar la atención sobre un mensaje específico. Estos matrimonios visuales están diseñados para precipitar un "¡ajá!" momento en el espectador que capta una idea a partir de la unión de dos imágenes. Por ejemplo, Combinar una imagen de una naranja con una imagen del sol podría transmitir una bebida con vitamina C.

Si bien los diseñadores gráficos profesionales son expertos en hacer combinaciones visuales, la mayoría de la gente no es tan experta en construir estas imágenes imaginativas. Para ayudar a los no profesionales a crear mezclas visuales para sus noticias y anuncios de servicio público, Los informáticos de Columbia Engineering han desarrollado VisiBlends, un flexible plataforma fácil de usar que transforma la actividad de lluvia de ideas creativa en una función de búsqueda, y permite una producción estadísticamente más alta de imágenes visualmente mezcladas. La plataforma VisiBlends combina una serie de pasos humanos o "microtareas" con IA y técnicas computacionales. El crowdsourcing es un componente clave del sistema que permite que grupos de personas colaboren, ya sea juntos o fuera del sitio.

"Para la persona promedio, parece que una combinación visual requiere inspiración creativa, ¡un ajá! momento, y que no existe una fórmula exacta para hacer una, "dice Lydia Chilton, profesor asistente de informática, quien dirigió el equipo y presentó el trabajo hoy en Glasgow, REINO UNIDO, en la Conferencia ACM CHI de 2019 sobre factores humanos en sistemas informáticos, la principal conferencia internacional de Interacción Hombre-Computadora. "Queríamos deconstruir el proceso de construcción de mezclas visuales y ver si había una manera de hacerlo más accesible para las personas al acoplar el elemento humano con métodos computacionales".

Las mezclas visuales efectivas son difíciles de hacer porque deben cumplir dos objetivos opuestos:combinar dos objetos en uno y garantizar que ambos objetos sigan siendo reconocibles. Chilton señaló que, si bien no hay una estructura obvia a nivel de superficie para las mezclas visuales, muchos tienen una estructura abstracta común, combinan dos objetos con una forma similar. Después de analizar cientos de mezclas, el equipo se decidió por un enfoque basado en los principios del reconocimiento visual de objetos humanos. Las personas usan muchas características visuales diferentes en diferentes etapas para reconocer un objeto, incluida la forma tridimensional simple del objeto, silueta, profundidad, color, y detalles.

La forma es la característica más importante que la gente usa para reconocer un objeto; en segundo lugar, utilizarán colores o detalles. Combinando objetos basados ​​en formas compartidas, luego mezclando sus colores o detalles, se pueden enviar mensajes contradictorios a los sistemas visuales de las personas acerca de qué es el objeto. Los mensajes contradictorios son los que mantienen a los espectadores mirando el objeto para descubrir qué es.

El proceso de VisiBlends comienza cuando los usuarios encuentran dos conceptos importantes del mensaje que desean asociar en la combinación. Por ejemplo, para el concepto de publicidad que combina McDonald's y "saludable, "los usuarios pueden elegir una manzana y una hamburguesa como dos conceptos para combinar. Para el título" El fútbol es peligroso para el desarrollo juvenil, "los usuarios pueden seleccionar" fútbol "y" peligroso "como los dos conceptos para combinar. Los conceptos deben ser lo suficientemente amplios para que haya suficiente variedad en los símbolos para encontrar coincidencias, y si no, los usuarios pueden necesitar una lluvia de ideas para ampliar los conceptos.

Después de una lluvia de ideas sobre asociaciones con el concepto, los usuarios necesitan encontrar imágenes de objetos que representen visualmente el concepto en forma simple, formas icónicas, y luego debe anotar las imágenes por su forma y cobertura. Una vez que los usuarios tienen una colección de imágenes anotadas para ambos conceptos, Las computadoras se utilizan para hacer coincidir imágenes automáticamente y sintetizarlas en combinaciones basadas en el patrón de diseño.

Una vez sintetizadas las mezclas, los usuarios pueden evaluar los resultados. Si no hay mezclas exitosas, el proceso debe repetirse para reenfocar la lluvia de ideas para encontrar más símbolos. Si bien este proceso de diseño iterativo a menudo produce nuevas restricciones, la flexibilidad del flujo de trabajo permite a los usuarios adaptarse fácilmente moviéndose entre tareas y viendo el trabajo de sus colaboradores.

Chilton y su equipo, que incluyó su Ph.D. estudiante Savvas Petridis y Maneesh Agrawala, el profesor de Ciencias de la Computación de Forest Baskett y director del Instituto Brown para la Innovación de Medios de la Universidad de Stanford, se preguntó si ayudaría a los diseñadores novatos a hacer mejores combinaciones visuales. Para probar esto, realizaron un estudio controlado para comparar cuántas mezclas exitosas podían hacer los usuarios novatos con y sin VisiBlends.

En el estudio, VisiBlends produjo 10 veces más resultados creativos que las sesiones de lluvia de ideas no guiadas. Los usuarios de VisiBlends tuvieron una tasa de éxito del 96%, en lugar de una tasa del 21% sin utilizar el sistema. Los investigadores también descubrieron que el sistema facilitó que los grupos ubicados en diferentes lugares generaran mezclas colaborativas en microtareas independientes y que los grupos ubicados en un área trabajaran juntos en imágenes combinadas.

"Fue realmente emocionante, "Chilton dice, "para ver que el uso de nuestra herramienta VisiBlends aumentó drásticamente el número de combinaciones visuales exitosas".

VisiBlends toma el proceso de diseño general y lo adapta a un problema específico, basado en un patrón de diseño. "Pero el proceso de diseño y la idea de patrones de diseño es muy amplia", Chilton observa. "Ahora estamos trabajando en la creación de flujos de trabajo flexibles para otros problemas al comprender qué componentes subyacen a la solución y qué patrón de diseño abstracto puede describir mejor cómo encajan esos componentes. Por ejemplo, muchas tareas creativas tienen patrones:las historias tienen tramas como el viaje del héroe, la música tiene progresiones de acordes, las pruebas matemáticas tienen técnicas de prueba, el software tiene patrones de diseño, e incluso los trabajos académicos tienen una estructura abstracta que los asesores transmiten a los estudiantes ".

No había un patrón de diseño existente para combinaciones visuales, por lo que el equipo tuvo que discernir el patrón observando ejemplos y probando teorías. Descubrieron que, para encontrar patrones de diseño, necesitaban ignorar los detalles del nivel de la superficie y centrarse en los elementos que son más fundamentales para la cognición humana. "Para mezclas visuales, la forma era importante para una mezcla, "Añade Chilton." Para un dominio como la escritura persuasiva, Los principios psicológicos de los estados emocionales pueden ser los elementos clave de un patrón de diseño ".

Chilton ahora está explorando cómo ampliar su enfoque a otros problemas de diseño creativo, explorando cómo su equipo puede encontrar conexiones entre dos campos de investigación y combinarlos en uno para generar nuevos resultados y acelerar la investigación interdisciplinaria. Chilton señala que muchos resultados científicos sorprendentes en la historia provienen de tomar una técnica experimental en un campo, como la física, y aplicándolo en un campo diferente, como la informática, que es parte de cómo surgió el aprendizaje profundo.

"Los impactos de la mezcla de campos pueden ser enormes, pero hasta ahora en su mayoría ocurren por accidente, ", dice." Podemos hacer que el intercambio científico y el descubrimiento sea más sistemático y acelerar la tasa de descubrimiento ".