La película en 3-D de James Cameron, Avatar, buscó revolucionar la experiencia cinematográfica cuando se estrenó por primera vez en 2009. creando un mundo inmersivo para los espectadores. Pero, ¿y si también quisieras sentir el calor y el viento? mientras volaba en una banshee, directo desde su asiento de cine?

Si bien ya existe una pequeña cantidad de las llamadas películas "4-D" que agregan un elemento físico, investigadores de la Universidad de Toronto están trabajando en una forma de aplicar la función de manera más amplia.

"Por lo general, la silla temblará, puede haber salpicaduras o algún otro tipo de interacción mientras mira la película, "dice Yuhao Zhou, un estudiante de cuarto año en el departamento de ingeniería eléctrica e informática de Edward S. Rogers Sr., del entretenimiento emergente. "En este momento, todos estos efectos se crean a partir de la primera fase de producción. Nos gustaría automatizar este tipo de proceso para películas que no se crearon originalmente para cines 4-D".

Zhou está trabajando con Makarand Tapaswi, un becario postdoctoral de la U of T en ciencias de la computación, y Sanja Fidler, profesor asistente en el departamento de ciencias matemáticas y computacionales de la U of T Mississauga y en el departamento de graduados de ciencias de la computación de tres campus. Recientemente tuvieron su trabajo, Now You Shake Me:Hacia el cine 4-D automático, presentado en una presentación destacada en la conferencia Computer Vision and Pattern Recognition (CVPR) en Salt Lake City, Utah.

Zhou dice que una película en 4-D generalmente se percibe desde el punto de vista de la primera persona, o cámara. Si Will Turner en Piratas del Caribe siente el viento en la cara, y el espectador quiere experimentar ser Turner, entonces ellos, también, tendría que experimentar el viento en la cara.

"Queremos tener una función en la que puedas activar un interruptor y experimentar lo que sienten los personajes, "Dice Zhou.

Para llevar una película normal o 3-D a 4-D, los investigadores utilizaron un sitio web independiente para anotar los efectos de la película para su modelo de predicción 4-D.

"Por ejemplo, [en El señor de los anillos:La comunidad del anillo] Frodo saca a Sam del agua, pero hay varios efectos que ocurren simultáneamente, "dice Zhou, quien comenzó a trabajar con Fidler durante su tercer año de estudios universitarios. "Primero, lo tira, hay una interacción física con la mano. Cuando Sam vuelve al agua, tira de Frodo, y el barco tiembla.

"La cámara es tu entrada, ", agrega Tapaswi." Pero en este caso, no solo desea experimentar lo que ve la cámara, pero también uno de los personajes - revive cómo los personajes se sintieron temblando y así sucesivamente ".

Si bien la tecnología 4-D todavía está fuera del rango de interacciones físicas, es decir, un tirón de la mano - Tapaswi prevé sensores de presión para simular el tacto a medida que avanza la tecnología. El modelo podría resultar útil en otras áreas como la realidad virtual o la realidad aumentada.

"Estamos recopilando este tipo de anotaciones para estudios futuros, "Dice Zhou.

Para su conjunto de datos, aplicaron tanto la clasificación como la detección de efectos. Para la clasificación de efectos, Zhou dice que su red neuronal una función de aprendizaje automático que permite el análisis profundo y el aprendizaje de datos, características extraídas de un clip corto, incluyendo movimiento y audio. Para la detección, él dice, la red neuronal puede predecir cuáles son los efectos, y donde ocurren, en un videoclip largo.

"No solo quieres saber qué le sucede a un personaje en una toma en particular. Quieres poder decir:'[el efecto] es viento ahora, no solo porque veo el viento ahora mismo, pero [porque] probablemente hacía viento antes, '", Dice Tapaswi.

Los investigadores encontraron que ciertos géneros de películas tendían a compartir efectos similares, por ejemplo, películas ambientadas en el espacio como Interstellar o Gravity. Esto puede verse como una forma novedosa de agrupar, dice Tapaswi.

"Por lo general, con películas en 3-D, los espectadores usan gafas y se sientan en una silla, "dice Zhou". Con el cine 4-D automático, la red neuronal procesaría información de películas en 2-D y 3-D, mételo en la silla, y simular los efectos ".