Dos palomas picotean granos en un parque de Constanza. Una tercera paloma entra volando. En las inmediaciones hay cuatro cámaras. Los estudiantes de doctorado Alex Chan y Urs Waldmann del grupo de excelencia sobre comportamiento colectivo de la Universidad de Konstanz filman la escena. Después de una hora, regresan con el metraje a su oficina para analizarlo con un marco de visión por computadora para la estimación de la postura y el seguimiento de la identidad.

El marco detecta y dibuja un cuadro alrededor de todas las palomas. Registra las partes centrales del cuerpo y determina su postura, su posición y su interacción con las otras palomas que las rodean. Todo esto sucede sin que se coloquen marcadores en las palomas ni sea necesario llamar a un ser humano para ayudar. Esto no habría sido posible hace apenas unos años.

Marco 3D-MuPPET

Recientemente se han desarrollado rápidamente métodos sin marcadores para el seguimiento de la postura de los animales, pero aún faltan marcos y puntos de referencia para el seguimiento de grandes grupos de animales en 3D. Para superar esta brecha, el investigador Urs Waldmann del Grupo de Excelencia en Comportamiento Colectivo de la Universidad de Konstanz y Alex Chan del Instituto Max Planck de Comportamiento Animal y sus colegas presentan 3D-MuPPET, un marco para estimar y rastrear poses 3D de hasta 10 palomas a velocidad interactiva usando múltiples vistas de cámara.

La investigación fue publicada recientemente en el International Journal of Computer Vision .

3D-MuPPET, que significa Seguimiento y estimación de posturas de múltiples palomas en 3D, es un marco de visión por computadora para la estimación de la postura y el seguimiento de la identidad de hasta 10 palomas individuales a partir de cuatro vistas de cámara, basado en datos recopilados tanto en entornos cautivos como en el salvaje.

"Entrenamos un detector de puntos clave 2D y triangulamos puntos en 3D, y también demostramos que los modelos entrenados con datos de una sola paloma funcionan bien con datos de varias palomas", explica Waldmann. Este es un primer ejemplo de seguimiento de la postura de un animal en 3D para un grupo completo de hasta 10 individuos.

Por lo tanto, el nuevo marco proporciona un método concreto para que los biólogos creen experimentos y midan la postura de los animales para el análisis automático del comportamiento. "Este marco es un hito importante en el seguimiento de la postura de los animales y el análisis automático del comportamiento", afirma Chan.

El marco se puede utilizar en la naturaleza

Además del seguimiento de palomas en interiores, el marco también se extiende a las palomas en estado salvaje. "Utilizando un modelo que puede identificar el contorno de cualquier objeto en una imagen llamado Segment Anything Model, entrenamos aún más un detector de puntos clave 2D con una paloma enmascarada a partir de los datos cautivos, luego aplicamos el modelo a videos de palomas al aire libre sin ningún ajuste adicional del modelo. ", afirma Chan.

3D-MuPPET presenta uno de los primeros estudios de caso sobre cómo pasar del seguimiento de animales en cautiverio al seguimiento de animales en la naturaleza, permitiendo medir comportamientos a escala fina de los animales en sus hábitats naturales. Los métodos desarrollados se pueden aplicar potencialmente a otras especies en trabajos futuros, con posible aplicación para la investigación del comportamiento colectivo a gran escala y el monitoreo de especies de una manera no invasiva.

3D-MuPPET presenta un marco potente y flexible para investigadores que deseen utilizar la reconstrucción de posturas 3D de varios individuos para estudiar el comportamiento colectivo en cualquier entorno o especie. Siempre que esté disponible una configuración multicámara y un estimador de postura 2D, el marco se puede aplicar para rastrear posturas 3D de cualquier animal.