Investigadores de la Universidad Carnegie Mellon han desarrollado un modelo de computadora que puede traducir texto que describe movimientos físicos directamente en animaciones simples generadas por computadora. un primer paso hacia la generación de películas algún día directamente a partir de guiones.

Los científicos han logrado avances tremendos para lograr que las computadoras comprendan el lenguaje natural, así como en generar una serie de poses físicas para crear animaciones realistas. Estas capacidades también podrían existir en mundos separados, sin embargo, porque falta el vínculo entre el lenguaje natural y las poses físicas.

Louis-Philippe Morency, profesor asociado en el Instituto de Tecnologías del Lenguaje (LTI), y Chaitanya Ahuja, un Doctorado en LTI estudiante, están trabajando para unir esos mundos utilizando una arquitectura neuronal que llaman Joint Language-to-Pose, o JL2P. El modelo JL2P permite integrar conjuntamente oraciones y movimientos físicos, para que pueda aprender cómo se relaciona el lenguaje con la acción, gestos y movimiento.

"Creo que estamos en una etapa inicial de esta investigación, pero de un modelado, inteligencia artificial y perspectiva teórica, es un momento muy emocionante, "Morency dijo." Ahora mismo, estamos hablando de animar personajes virtuales. Finalmente, este vínculo entre lenguaje y gestos podría aplicarse a los robots; podríamos simplemente decirle a un robot asistente personal lo que queremos que haga.

"Con el tiempo, también podríamos ir al otro lado:usar este vínculo entre el lenguaje y la animación para que una computadora pueda describir lo que está sucediendo en un video, "añadió.

Ahuja presentará JL2P el 19 de septiembre en la Conferencia Internacional sobre Visión 3-D en la ciudad de Quebec, Canadá.

Para crear JL2P, Ahuja utilizó un enfoque de aprendizaje curricular que se centra en el modelo de primer aprendizaje corto, secuencias fáciles, "Una persona camina hacia adelante", y luego más largas, secuencias más difíciles:"Una persona da un paso al frente, luego se da la vuelta y da un paso adelante de nuevo, "o" Una persona salta un obstáculo mientras corre ".

Los verbos y adverbios describen la acción y la velocidad / aceleración de la acción, mientras que los sustantivos y adjetivos describen ubicaciones y direcciones. El objetivo final es animar secuencias complejas con múltiples acciones que ocurren simultáneamente o en secuencia, Dijo Ahuja.

Por ahora, las animaciones son para muñecos de palo.

Lo que lo hace más complicado es el hecho de que suceden muchas cosas al mismo tiempo, incluso en secuencias simples, Morency explicó.

"La sincronización entre las partes del cuerpo es muy importante, "Morency dijo." Cada vez que mueves las piernas, tu tambien mueves tus brazos, tu torso y posiblemente tu cabeza. Las animaciones corporales deben coordinar estos diferentes componentes, al mismo tiempo que se logran acciones complejas. Llevar la narrativa del lenguaje dentro de este complejo entorno de animación es desafiante y emocionante. Este es un camino hacia una mejor comprensión del habla y los gestos ".