Después de ver horas de imágenes de video del ex presidente Barack Obama pronunciando su discurso semanal, Shruti Agarwal comenzó a notar algunas peculiaridades sobre la forma en que Obama habla.

"Cada vez que dice 'Hola, todos, 'mueve la cabeza hacia la izquierda o hacia la derecha, y luego frunce los labios, "dijo Agarwal, estudiante de posgrado en ciencias de la computación en UC Berkeley.

Agarwal y su asesor de tesis Hany Farid, un profesor entrante en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación y en la Escuela de Información de UC Berkeley, están compitiendo para desarrollar herramientas forenses digitales que puedan desenmascarar "deepfakes, "Vídeos hiperrealistas generados por IA de personas que hacen o dicen cosas que nunca hicieron o dijeron.

Ver estos patrones en el discurso real de Obama le dio a Agarwal una idea.

"Me di cuenta de que hay algo en común entre todos estos deepfakes, y es que tienden a cambiar la forma de hablar de una persona, "Dijo Agarwal.

La perspicacia de Agarwal la llevó a ella y a Farid a crear la última arma en la guerra contra los deepfakes:un nuevo enfoque forense que puede utilizar las características sutiles de cómo habla una persona. como los distintos movimientos de cabeza y labios de Obama, para reconocer si un nuevo video de esa persona es real o falso.

Su técnica, que Agarwal presentó esta semana en la conferencia Computer Vision and Pattern Recognition en Long Beach, CALIFORNIA, podría utilizarse para ayudar a los periodistas, Responsables políticos, y el público está un paso por delante de videos falsos de líderes políticos o económicos que podrían usarse para influir en una elección, desestabilizar un mercado financiero, o incluso incitar a la violencia y los disturbios civiles.

"Imagina un mundo ahora, donde no solo las noticias que lees pueden ser reales o no, ese es el mundo en el que hemos estado viviendo durante los últimos dos años, desde las elecciones de 2016, pero donde las imágenes y los videos que ves pueden ser reales o no, "dijo Farid, quien comienza su mandato en UC Berkeley el 1 de julio. "No se trata solo de estos últimos avances en la creación de imágenes y videos falsos. Es la inyección de estas técnicas en un ecosistema que ya está promoviendo noticias falsas, noticias sensacionales y teorías de la conspiración ".

La nueva técnica funciona porque las tres técnicas deepfake más comunes, conocidas como "sincronización de labios, " "intercambio cara, "y" titiritero, ":Implica la combinación de audio y video de una fuente con una imagen de otra fuente, creando una desconexión que puede ser descubierta por un espectador entusiasta, o un modelo de computadora sofisticado.

Usando la técnica de "intercambio de caras", por ejemplo, se podría crear una falsa imitación de Donald Trump superponiendo la cara de Trump en un video de Alec Baldwin haciendo una suplantación de Trump, de modo que es casi como si Baldwin estuviera usando una máscara Trump ajustada a la piel. Pero las expresiones faciales de Baldwin aún se mostrarán a través de la máscara, Dijo Agarwal.

"La nueva imagen que se cree tendrá las expresiones y el comportamiento facial de Alec Baldwin, pero el rostro de Trump, "Dijo Agarwal.

Igualmente, en un deepfake de "sincronización de labios", Los algoritmos de IA toman un video existente de una persona hablando, y modificar los movimientos de los labios en el video para que coincidan con los de un nuevo audio, donde el audio puede ser un discurso antiguo sacado de contexto, un imitador hablando, o habla sintetizada. El año pasado, El actor y director Jordan Peele utilizó esta técnica para crear un video viral de Obama diciendo cosas incendiarias sobre el presidente Trump.

Pero en estos videos, solo se cambian los movimientos de los labios, por lo que es posible que las expresiones en el resto de la cara ya no coincidan con las palabras que se están diciendo.

Para probar la idea, Agarwal y Farid recopilaron imágenes de video de cinco figuras políticas importantes:Hillary Clinton, Barack Obama, Bernie Sanders, Donald Trump y Elizabeth Warren, y los pasaron a través del kit de herramientas de análisis de comportamiento facial de código abierto OpenFace2, que detectaba tics faciales como cejas levantadas, arrugas en la nariz, caída de la mandíbula y labios apretados.

Luego utilizaron los resultados para crear lo que el equipo llama modelos "biométricos suaves", que correlacionan las expresiones faciales y los movimientos de la cabeza de cada líder político. Descubrieron que cada líder tenía una forma distinta de hablar y, cuando utilizaron estos modelos para analizar videos reales y deepfakes creados por sus colaboradores en la Universidad del Sur de California, descubrieron que los modelos podían distinguir con precisión lo real de lo falso entre el 92 y el 96 por ciento de las veces, dependiendo del líder y la duración del video.

"La idea básica es que podemos construir estos modelos biométricos suaves de varios líderes mundiales, como los candidatos presidenciales de 2020, y luego, cuando los videos comienzan a romperse, por ejemplo, podemos analizarlos e intentar determinar si creemos que son reales o no, "Dijo Farid.

A diferencia de algunas técnicas forenses digitales, que identifican falsificaciones al detectar artefactos de imagen que quedan durante el proceso de fabricación, El nuevo método aún puede reconocer las falsificaciones que se han alterado mediante un procesamiento digital simple, como cambiar el tamaño o comprimir.

Pero no es infalible. La técnica funciona bien cuando se aplica a figuras políticas que dan discursos y discursos formales porque tienden a apegarse a comportamientos bien ensayados en estos entornos. Pero puede que no funcione tan bien para los videos de estas personas en otros entornos:por ejemplo, Obama puede no dar el mismo movimiento de cabeza característico al saludar a sus amigos.

Los creadores de deepfake también podrían familiarizarse con estos patrones de habla y aprender a incorporarlos en sus videos de líderes mundiales. dijeron los investigadores.

Agarwal dice que espera que el nuevo enfoque ayude a ganar un poco de tiempo en la carrera en constante evolución para detectar deepfakes.

"Solo estamos tratando de ganar un poco de ventaja en este juego del gato y el ratón de detectar y crear nuevos deepfakes, "Dijo Agarwal.