Los investigadores han desarrollado un sistema que utiliza inteligencia artificial que puede editar las expresiones faciales de los actores para que coincidan con las voces dobladas. ahorrando tiempo y reduciendo costes para la industria cinematográfica. También se puede utilizar para corregir la mirada y la postura de la cabeza en videoconferencias, y habilita nuevas posibilidades para la postproducción de video y efectos visuales.

La técnica fue desarrollada por un equipo internacional liderado por un grupo del Instituto Max Planck de Informática e incluyendo investigadores de la Universidad de Bath, Tecnicolor TU Munich y la Universidad de Stanford. La obra, llamados Retratos de video profundos, se presentó por primera vez en la conferencia SIGGRAPH 2018 en Vancouver el 16 de agosto.

A diferencia de los métodos anteriores que se centran únicamente en los movimientos del interior de la cara, Deep Video Portraits también puede animar todo el rostro, incluidos los ojos, Cejas, y la posición de la cabeza en videos, utilizando controles conocidos de la animación de caras de gráficos por computadora. Incluso puede sintetizar un fondo de video estático plausible si se mueve la cabeza.

Hyeongwoo Kim, del Instituto Max Planck de Informática, explica:"Funciona mediante el uso de captura de rendimiento facial en 3D basada en modelos para registrar los movimientos detallados de las cejas, boca, nariz, y la posición de la cabeza del actor de doblaje en un video. Luego, transpone estos movimientos al actor 'objetivo' de la película para sincronizar con precisión los labios y los movimientos faciales con el nuevo audio ".

La investigación se encuentra actualmente en la etapa de prueba de concepto y aún no funciona en tiempo real, sin embargo, los investigadores anticipan que el enfoque podría marcar una diferencia real en la industria del entretenimiento visual.

Profesor Christian Theobalt, del Instituto Max Planck de Informática, dijo:"A pesar de la extensa manipulación de la posproducción, Doblar películas a idiomas extranjeros siempre presenta un desajuste entre el actor en la pantalla y la voz doblada.

"Nuestro nuevo enfoque Deep Video Portrait nos permite modificar la apariencia de un actor objetivo al transferir la pose de la cabeza, expresiones faciales, y movimiento ocular con un alto nivel de realismo ".

Coautor del artículo, Dr. Christian Richardt, del centro de investigación de captura de movimiento de la Universidad de Bath CAMERA, añade:"Esta técnica también podría utilizarse para la postproducción en la industria cinematográfica, donde la edición de caras gráficas por ordenador ya se utiliza ampliamente en los largometrajes actuales".

Un gran ejemplo es 'El curioso caso de Benjamin Button', donde la cara de Brad Pitt fue reemplazada por una versión modificada de gráficos por computadora en casi todos los cuadros de la película. Este trabajo sigue siendo un proceso que requiere mucho tiempo, a menudo requiere muchas semanas de trabajo por parte de artistas capacitados.

"Deep Video Portraits muestra cómo ese efecto visual podría crearse con menos esfuerzo en el futuro. Con nuestro enfoque, incluso la posición de la cabeza de un actor y su expresión facial podrían editarse fácilmente para cambiar los ángulos de la cámara o cambiar sutilmente el encuadre de una escena para contar mejor la historia ".

Además, este nuevo enfoque también se puede utilizar en otras aplicaciones, que los autores muestran en el sitio web de su proyecto, por ejemplo, en video y teleconferencias de realidad virtual, donde se puede utilizar para corregir la mirada y la postura de la cabeza de modo que se logre un entorno de conversación más natural. El software permite muchas aplicaciones creativas nuevas en la producción de medios visuales, pero los autores también son conscientes del potencial de uso indebido de la tecnología moderna de edición de video.

Dr. Michael Zollhöfer, de la Universidad de Stanford, explica:"La industria de los medios ha estado retocando fotos con software de edición de fotografías durante muchos años, lo que significa que la mayoría de nosotros hemos aprendido a tomar lo que vemos en las fotos con una pizca de sal. Con la tecnología de edición de video en constante mejora, también debemos comenzar a ser más críticos con el contenido de video que consumimos todos los días, especialmente si no hay prueba de origen. Creemos que el campo de la ciencia forense digital debería recibir y recibirá mucha más atención en el futuro para desarrollar enfoques que puedan probar automáticamente la autenticidad de un videoclip. Esto conducirá a enfoques cada vez mejores que puedan detectar tales modificaciones, incluso si los humanos no somos capaces de detectarlas con nuestros propios ojos ".

Para abordar esto, El equipo de investigación está utilizando la misma tecnología para desarrollar en tándem redes neuronales capacitadas para detectar videos generados o editados sintéticamente con alta precisión para facilitar la detección de falsificaciones. Los autores no tienen planes de hacer que el software esté disponible públicamente, pero afirman que cualquier software que implemente los muchos casos de uso creativos debe incluir esquemas de marcas de agua para marcar claramente las modificaciones.