El mariscal de campo de los Patriots, Tom Brady, a menudo ha atribuido su éxito a pasar incontables horas estudiando los movimientos de su oponente en la película. Esta comprensión del movimiento es necesaria para todas las especies vivientes, si se trata de averiguar en qué ángulo lanzar una pelota, o percibir el movimiento de depredadores y presas. Pero los videos simples no pueden darnos una imagen completa.

Eso es porque los videos y fotos tradicionales para estudiar el movimiento son bidimensionales, y no nos muestre la estructura tridimensional subyacente de la persona o el tema de interés. Sin la geometría completa, no podemos inspeccionar los movimientos pequeños y sutiles que nos ayudan a movernos más rápido, o dar sentido a la precisión necesaria para perfeccionar nuestra forma atlética.

Recientemente, aunque, Los investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (CSAIL) han encontrado una forma de manejar mejor esta comprensión del movimiento complejo.

El nuevo sistema utiliza un algoritmo que puede tomar videos en 2-D y convertirlos en "esculturas de movimiento" impresas en 3D que muestran cómo se mueve un cuerpo humano a través del espacio. Además de ser una visualización estética intrigante de la forma y el tiempo, el equipo prevé que su sistema "MoSculp" podría permitir un estudio mucho más detallado del movimiento para los atletas profesionales, bailarines o cualquier persona que quiera mejorar sus habilidades físicas.

"Imagina que tienes un video de Roger Federer sirviendo una pelota en un partido de tenis, y un video de ti mismo aprendiendo tenis, "dice el estudiante de doctorado Xiuming Zhang, autor principal de un nuevo artículo sobre el sistema. "A continuación, podría construir esculturas en movimiento de ambos escenarios para compararlos y estudiar de manera más exhaustiva dónde necesita mejorar".

Debido a que las esculturas en movimiento son tridimensionales, los usuarios pueden usar una interfaz de computadora para navegar por las estructuras y verlas desde diferentes puntos de vista, revelando información relacionada con el movimiento inaccesible desde el punto de vista original.

Zhang escribió el artículo junto con los profesores del MIT William Freeman y Stefanie Mueller, Doctor. estudiante Jiajun Wu, Los investigadores de Google Qiurui He y Tali Dekel, así como U.C. Postdoctorado de Berkeley y ex Ph.D. de CSAIL. Andrew Owens.

Cómo funciona

Los artistas y científicos han luchado durante mucho tiempo para obtener una mejor comprensión del movimiento, limitado por su propia lente de cámara y lo que podría proporcionar.

El trabajo anterior ha utilizado principalmente las técnicas de fotografía llamadas "estroboscópicas", que se parecen mucho a las imágenes de un libro animado unidas. Pero dado que estas fotos solo muestran instantáneas de movimiento, no podría ver la mayor parte de la trayectoria del brazo de una persona cuando golpea una pelota de golf, por ejemplo.

Y lo que es más, estas fotografías también requieren una laboriosa configuración previa a la toma, como usar un fondo limpio y cámaras de profundidad especializadas y equipo de iluminación. Todo lo que necesita MoSculp es una secuencia de video.

Dado un video de entrada, el sistema primero detecta automáticamente puntos clave 2-D en el cuerpo del sujeto, como la cadera, rodilla, y el tobillo de una bailarina mientras realiza una compleja secuencia de baile. Luego, se necesitan las mejores poses posibles de esos puntos para convertirse en "esqueletos" tridimensionales.

Después de unir estos esqueletos, el sistema genera una escultura en movimiento que se puede imprimir en 3D, mostrando la suavidad, camino continuo de movimiento trazado por el sujeto. Los usuarios pueden personalizar sus figuras para centrarse en diferentes partes del cuerpo, asignar diferentes materiales para distinguir entre piezas, e incluso personalizar la iluminación.

En estudios de usuarios, los investigadores encontraron que más del 75 por ciento de los sujetos sintieron que MoSculp proporcionaba una visualización más detallada para estudiar el movimiento que las técnicas de fotografía estándar.

"La danza y los movimientos atléticos altamente calificados a menudo parecen 'esculturas en movimiento', pero solo crean formas fugaces y efímeras, "dice Courtney Brigham, líder de comunicaciones en Adobe. "Este trabajo muestra cómo tomar movimientos y convertirlos en esculturas reales con visualizaciones objetivas del movimiento, proporcionar una forma para que los atletas analicen sus movimientos para el entrenamiento, no requiere más equipo que una cámara móvil y algo de tiempo de computación ".

El sistema funciona mejor para movimientos más grandes, como lanzar una pelota o dar un gran salto durante una secuencia de baile. También funciona para situaciones que pueden obstruir o complicar el movimiento, como personas que visten ropa holgada o carguen objetos.

En la actualidad, el sistema solo utiliza escenarios de una sola persona, pero el equipo espera expandirse pronto a varias personas. Esto podría abrir el potencial para estudiar cosas como trastornos sociales, interacciones interpersonales, y dinámica de equipo.