Es posible que haya visto estrellas de Hollywood con trajes de "captura de movimiento", actuando con trajes de cuerpo entero salpicados de sensores que permiten que una computadora los transforme en un Hulk, un dragón o una bestia encantada.

Ahora, una colaboración entre los laboratorios de los profesores de Princeton Mala Murthy y Joshua Shaevitz ha ido un paso más allá, utilizando los últimos avances en inteligencia artificial (IA) para rastrear automáticamente las partes individuales del cuerpo de los animales en videos existentes.

Su nueva herramienta, LEAP Estima la postura del animal (LEAP), se puede entrenar en cuestión de minutos para rastrear automáticamente las partes individuales del cuerpo de un animal en millones de cuadros de video con alta precisión, sin tener que agregar marcadores físicos o etiquetas.

"El método se puede utilizar ampliamente, en sistemas de modelos animales, y será útil para medir el comportamiento de animales con mutaciones genéticas o tras tratamientos farmacológicos, "dijo Murthy, profesor asociado de biología molecular y del Instituto de Neurociencia de Princeton (PNI).

El artículo que detalla la nueva tecnología se publicará en la edición de enero de 2019 de la revista. Métodos de la naturaleza , pero su versión de acceso abierto, lanzado en mayo, ya ha llevado a que el software sea adoptado por otros laboratorios.

Cuando los investigadores combinan LEAP con otras herramientas cuantitativas desarrolladas en sus laboratorios, pueden estudiar lo que llaman "el lenguaje de la conducta" observando patrones en los movimientos del cuerpo de los animales, dijo Shaevitz, profesor de física y del Instituto Lewis-Sigler de Genómica Integrativa.

"Se trata de una herramienta flexible que, en principio, se puede utilizar con cualquier dato de vídeo, "dijo Talmo Pereira, un estudiante de posgrado del PNI que es el primer autor del artículo. "La forma en que funciona es etiquetar algunos puntos en algunos videos y luego la red neuronal hace el resto. Proporcionamos una interfaz fácil de usar para que cualquiera pueda aplicar LEAP a sus propios videos, sin tener conocimientos previos de programación ".

Cuando se le preguntó si LEAP funcionó tan bien en grandes mamíferos como en las moscas y ratones que formaban la mayoría de los sujetos iniciales, Pereira rápidamente creó un video con etiquetas de movimiento de una jirafa tomado de la transmisión en vivo del Centro de Investigación Mpala en Kenia, una estación de investigación de campo de la que Princeton es socio gerente.

"Grabamos un video de una jirafa caminando desde la estación de investigación de Mpala ... y etiquetamos puntos en 30 cuadros de video, que tomó menos de una hora, ", Dijo Pereira." LEAP fue capaz de rastrear el movimiento del resto del video (aproximadamente 500 cuadros) en segundos ".

Los esfuerzos anteriores para desarrollar herramientas de inteligencia artificial que pudieran rastrear el movimiento humano se han basado en grandes conjuntos de entrenamiento de datos anotados manualmente. Eso permitió que el software funcionara de manera sólida con diversos tipos de datos, con fondos o condiciones de iluminación muy diferentes.

"En nuestro caso, optimizamos métodos similares para trabajar con datos recopilados en un entorno de laboratorio, en las que las condiciones son consistentes en todas las grabaciones, ", dijo Murthy." Creamos un sistema que permite al usuario elegir una red neuronal apropiada para el tipo de datos que el usuario recopiló en lugar de estar limitado por lo que otros investigadores o empresas han trabajado ".

Este proyecto surgió de una colaboración única entre un estudiante de tesis senior en el laboratorio de Murthy, Diego Aldarondo de la promoción 2018, y su mentor de estudiantes de posgrado, Pereira, quien es asesorado conjuntamente por Murthy y Shaevitz.

"Diego estaba explorando el uso de redes neuronales profundas para anotar datos de comportamiento animal a través de una de sus clases de informática en Princeton, y durante las charlas nocturnas en el laboratorio con Talmo, se dio cuenta de que estos métodos podrían aplicarse poderosamente a sus propios datos:videos de moscas de la fruta interactuando durante su ritual de cortejo, ", dijo Murthy." La colaboración partió de ahí, y fue increíblemente divertido trabajar juntos:Diego y Talmo demostraron cuán efectivos pueden ser estos métodos de IA ".

El trabajo también tiene un gran potencial fuera de la neurociencia, dijo Monica Daley, profesor titular del Laboratorio de Estructura y Movimiento del Royal Veterinary College del Reino Unido, que no participó en esta investigación.

"Gran parte de mi investigación tiene como objetivo comprender cómo los animales se mueven eficazmente en diferentes terrenos y condiciones ambientales, "Dijo Daley." Uno de los mayores desafíos actuales en el campo es obtener información significativa sobre el movimiento de los animales a partir de imágenes de video. Procesamos videos manualmente, requiriendo muchas horas de trabajo tedioso, o centrarse en un análisis muy simplista y limitado que se pueda automatizar. Los algoritmos presentados en este documento tienen el potencial de automatizar la parte de nuestro trabajo que requiere mucha mano de obra más de lo que ha sido posible anteriormente. lo que podría permitirnos estudiar una mayor variedad de conductas locomotoras animales ".

Una vez que tengan una base de datos de movimientos y comportamientos, los neurocientíficos del equipo pueden establecer conexiones con los procesos neuronales detrás de ellos. Esto permitirá a los investigadores "no solo obtener una mejor comprensión de cómo el cerebro produce comportamientos, "dijo Shaevitz, "sino también para explorar futuros diagnósticos y terapias que se basan en una computadora que interpreta las acciones de alguien".

Una herramienta similar fue compartida durante el verano por un equipo de investigadores de Harvard, que utilizó la arquitectura de red neuronal existente, mientras que el equipo de Princeton creó el suyo propio. "Nuestro método y el de ellos tienen diferentes ventajas, ", dijo Murthy." Este es un campo increíblemente emocionante en este momento con mucha actividad en el desarrollo de herramientas de inteligencia artificial para estudios de comportamiento y actividad neuronal ".

"Usamos un enfoque diferente, donde más pequeño, Las redes más sencillas pueden lograr una alta precisión al especializarse en nuevos conjuntos de datos rápidamente, "dijo Pereira." Más importante aún, mostramos que ahora hay opciones fáciles de usar para el seguimiento de las posturas de los animales a través de IA, y esperamos que esto anime al campo a comenzar a adoptar enfoques más cuantitativos y precisos para medir el comportamiento ".

"En los últimos cinco años, La neurociencia ha avanzado enormemente en la tecnología que observa y manipula la actividad cerebral, "dijo el coautor Samuel Wang, profesor de biología molecular y PNI. "Ahora, La clasificación automática del comportamiento agrega un complemento crítico a esa tecnología. Princeton se está convirtiendo en un eje central en el campo incipiente de la neuroetología computacional ".