Las personas que entraban y salían de las fotografías solían estar reservadas para el mundo de Harry Potter. Pero ahora los informáticos de la Universidad de Washington han llevado esa magia a la vida real.

Su algoritmo, Despertar con foto, puede tomar a una persona de una foto en 2-D o una obra de arte y hacerla correr, caminar o saltar fuera del marco. El sistema también permite a los usuarios ver la animación en tres dimensiones utilizando herramientas de realidad aumentada. Los investigadores presentarán sus resultados el 19 de junio en la Conferencia sobre Visión por Computador y Reconocimiento de Patrones en Long Beach. California. Esta investigación atrajo la atención de los medios por primera vez cuando se publicó en forma preimpresa en diciembre en ArXiv.

"Este es un problema fundamental muy difícil en la visión por computadora, "dijo el coautor Ira Kemelmacher-Shlizerman, profesor asociado en la Escuela de Ingeniería y Ciencias de la Computación Paul G. Allen de la Universidad de Washington. "El gran desafío aquí es que la entrada se realiza solo desde una única posición de cámara, entonces parte de la persona es invisible. Nuestro trabajo combina el avance técnico en un problema abierto en el campo con la visualización creativa artística ".

Previamente, Los investigadores pensaron que sería imposible animar a una persona que se quedara sin una sola foto.

"Hay algunos trabajos anteriores que intentan crear un personaje 3D utilizando múltiples puntos de vista, "dijo el coautor Brian Curless, profesor de la Escuela Allen. "Pero aun así no podías dar vida a alguien y hacer que se quedara sin escena, y no podrías incorporar AR. Fue realmente sorprendente que pudiéramos obtener resultados convincentes con solo usar una foto ".

Las aplicaciones de Photo Wake-Up son numerosas, dice el equipo. Los investigadores imaginan que esto podría conducir a una nueva forma para que los jugadores creen avatares que realmente se parezcan a ellos. un método para que los visitantes interactúen con pinturas en un museo de arte, digamos sentarse a tomar el té con Mona Lisa, o algo que permita a los niños dar vida a sus dibujos. Los ejemplos en el trabajo de investigación incluyen animar a Stephen Curry de los Golden State Warriors para que salga de la cancha, Paul McCartney para saltar de la portada de "Help!" álbum y "Ícaro" de Matisse para salir de su marco.

Para hacer realidad la magia Photo Wake-Up comienza identificando a una persona en una imagen y haciendo una máscara del contorno del cuerpo. Desde allí, hace coincidir una plantilla 3-D con la posición del cuerpo del sujeto. Luego, el algoritmo hace algo sorprendente:para deformar la plantilla para que se parezca a la persona de la foto, proyecta a la persona 3-D de nuevo en 2-D.

"Es muy difícil de manipular en 3D con precisión, "dijo el coautor Chung-Yi Weng, estudiante de doctorado en la Escuela Allen. "Tal vez puedas hacerlo de forma tosca, pero cualquier error será obvio cuando animes al personaje. Así que tenemos que encontrar la manera de manejar las cosas a la perfección, y es más fácil hacer esto en 2-D ".

Photo Wake-Up almacena información tridimensional para cada píxel:su distancia desde la cámara o el artista y cómo están conectadas las articulaciones de una persona. Una vez que la plantilla se ha deformado para que coincida con la forma de la persona, el algoritmo pega la textura, los colores de la imagen. También genera la espalda de la persona utilizando información de la imagen y la plantilla 3-D. Luego, la herramienta cose los dos lados para formar una persona tridimensional que podrá darse la vuelta.

Una vez que el personaje tridimensional esté listo para ejecutarse, el algoritmo necesita configurar el fondo para que el personaje no deje un espacio en blanco detrás. Photo Wake-Up llena el agujero detrás de la persona tomando prestada información de otras partes de la imagen.

En este momento, Photo Wake-Up funciona mejor con imágenes de personas mirando hacia adelante, y puede animar tanto creaciones artísticas como fotografías de personas reales. El algoritmo también puede manejar algunas fotos en las que los brazos de las personas bloquean parte de sus cuerpos, pero aún no es capaz de animar a personas que tienen las piernas cruzadas o que bloquean gran parte de sí mismas.

"Photo Wake-Up es una nueva forma de interactuar con fotos, ", Dijo Weng." No puede hacer todo todavía, Pero esto es solo el principio."