Los productos comerciales de drones pueden abordar algunas tareas automatizadas, pero una cosa que esos sistemas no abordan es filmar artísticamente. Un equipo dirigido por investigadores de la Universidad Carnegie Mellon ha propuesto un sistema completo para la cinematografía aérea que aprende las preferencias visuales de los humanos. El sistema totalmente autónomo no requiere escenas con guión, Etiquetas GPS para localizar objetivos o mapas previos del entorno.

"Estamos poniendo el poder de un director dentro del dron, "dijo Rogerio Bonatti, un doctorado estudiante en el Instituto de Robótica de CMU. "El dron se posiciona para registrar los aspectos más importantes de una escena. Comprende de forma autónoma el contexto de la escena:dónde están los obstáculos, dónde están los actores, y razona activamente sobre qué puntos de vista van a hacer una escena más interesante visualmente. También es una razón para permanecer a salvo y no estrellarse ".

Como meta "Artísticamente interesante" es subjetivo y difícil de cuantificar matemáticamente, por lo que el sistema se entrenó mediante una técnica llamada aprendizaje por refuerzo profundo. En un estudio de usuarios, la gente veía escenas en un simulador fotorrealista que cambiaba entre frontal, espalda, perspectivas izquierda y derecha. También se exploraron la escala de disparo y la distancia, así como la posición del actor en la pantalla. Los usuarios puntuaron las escenas en función de lo visualmente atractivas que eran y de lo artísticamente interesantes que las encontraban.

El sistema descubrió que algunos movimientos eran más interesantes que otros. Por ejemplo, Otros productos de drones autónomos a menudo usan un disparo de fondo continuo porque permite que el dron siga un claro, camino seguro detrás del actor. Pero en el estudio de usuarios, los participantes informaron que un contratiempo constante se vuelve aburrido después de un tiempo. También descubrieron que el dron tenía que cambiar de ángulo a menudo para que la toma siguiera siendo interesante. pero no podían cambiar con demasiada frecuencia.

Bonatti dijo que el equipo quería generalizar el comportamiento aprendido, pasando de la formación en simulación al despliegue en escenarios de la vida real. Si bien el sistema promedió las preferencias de los usuarios por las tomas mientras un actor caminaba por un pasillo estrecho entre edificios, puede aplicar esas preferencias a obstáculos similares, como un sendero forestal, utilizando mapas topográficos.

"El trabajo futuro podría explorar muchos parámetros diferentes o crear preferencias artísticas personalizadas basadas en el estilo o género de un director, "dijo Sebastian Scherer, profesor asociado de investigación en el Robotics Institute.

El sistema aéreo también tiene la habilidad de mantener una visión clara del actor, evitando lo que se conoce como oclusiones. "Fuimos el primer grupo en idear nuevas formas de lidiar con la oclusión que no son solo binarias, pero en realidad puede cuantificar qué tan mala es la oclusión, "Dijo Bonatti.

Otras innovaciones incluyen planificadores de movimiento eficientes para anticipar las trayectorias de los actores, y un sistema de mapeo incremental y eficiente del medio ambiente utilizando LiDAR.

Este sistema podría ser útil más allá del entretenimiento y los deportes. Hoy en día, los gobiernos y los departamentos de policía ya utilizan drones volados manualmente para muchas aplicaciones, incluido el seguimiento de multitudes y la comprensión de los patrones de tráfico. Pero los drones que vuelan manualmente requieren mucha atención, y un oficial no puede gastar su energía en mirar la escena. "Al igual que aprender principios artísticos, la máquina podría aprender los disparos necesarios para otras aplicaciones como seguridad, "Dijo Bonatti.

"El objetivo de la investigación no es reemplazar a los humanos. Seguiremos teniendo un mercado para expertos profesionales altamente capacitados, ", dijo Bonatti." El objetivo es democratizar la cinematografía con drones y permitir que las personas se concentren realmente en lo que les importa ".

Este trabajo será presentado en la Conferencia Internacional de Robots y Sistemas Inteligentes de 2019, y ha sido aceptado para su publicación en el Revista de robótica de campo .