¿Cómo pueden los robots móviles percibir y comprender el entorno correctamente, incluso si partes del entorno están tapadas por otros objetos? Esta es una pregunta clave que debe ser resuelta para que los vehículos autónomos circulen con seguridad en las grandes ciudades abarrotadas. Si bien los humanos pueden imaginar estructuras físicas completas de objetos incluso cuando están parcialmente ocluidos, los algoritmos de inteligencia artificial (IA) existentes que permiten a los robots y vehículos autónomos percibir su entorno no tienen esta capacidad.

Los robots con IA ya pueden orientarse y navegar por sí mismos una vez que han aprendido cómo es su entorno. Sin embargo, percibir la estructura completa de los objetos cuando están parcialmente ocultos, como personas en multitudes o vehículos en embotellamientos, ha sido un desafío importante. Los investigadores de robótica de Friburgo, Prof. Dr. Abhinav Valada y Ph.D. estudiante Rohit Mohan del Robot Learning Lab de la Universidad de Freiburg, que han presentado en dos publicaciones conjuntas.

Los dos científicos de Freiburg han desarrollado la tarea de segmentación panóptica amodal y han demostrado su viabilidad utilizando nuevos enfoques de IA. Hasta ahora, los vehículos autónomos han utilizado la segmentación panóptica para comprender su entorno.

Esto significa que hasta ahora solo pueden predecir qué píxeles de una imagen pertenecen a qué regiones "visibles" de un objeto, como una persona o un automóvil, e identificar instancias de esos objetos. Lo que les falta hasta ahora es poder predecir también la forma completa de los objetos, incluso cuando están parcialmente ocluidos por otros objetos a su lado. La nueva tarea de percepción con segmentación panóptica amodal hace posible esta comprensión holística del entorno.

"Amodal" se refiere al caso de que cualquier oclusión parcial de los objetos debe abstraerse y, en lugar de verlos como fragmentos, debe haber una comprensión general de verlos como un todo. Por lo tanto, esta capacidad mejorada de reconocimiento visual conducirá a un enorme progreso en la mejora de la seguridad de los vehículos autónomos.

Potencial para revolucionar la comprensión de la escena visual urbana

En un nuevo artículo publicado en la Conferencia de reconocimiento de patrones y visión artificial IEEE/CVF (disponible en línea como preimpresión), los investigadores agregaron la nueva tarea a los conjuntos de datos de referencia establecidos y los pusieron a disposición del público. Ahora están llamando a los científicos a participar en la evaluación comparativa con sus propios algoritmos de IA.

El objetivo de esta tarea es la segmentación semántica por píxeles de las regiones visibles de las clases de fondo amorfo, como carreteras, vegetación, cielo y la instancia de segmentación de las regiones de objetos visibles y ocluidos de clases contables, como automóviles, camiones y peatones.

El punto de referencia y los conjuntos de datos están disponibles públicamente en el sitio web, incluidos dos algoritmos de aprendizaje novedosos propuestos. "Confiamos en que los nuevos algoritmos de IA para esta tarea permitirán que los robots emulen la experiencia visual que tienen los humanos al percibir las estructuras físicas completas de los objetos", explica Valada.

"La segmentación panóptica amodal ayudará significativamente a las tareas de conducción automatizada posteriores donde la oclusión es un desafío importante, como la estimación de profundidad, el flujo óptico, el seguimiento de objetos, la estimación de pose, la predicción de movimiento, etc. Con algoritmos de IA más avanzados para esta tarea, la capacidad de reconocimiento visual para uno mismo -La conducción de automóviles se puede revolucionar. Por ejemplo, si se percibe en todo momento toda la estructura de los usuarios de la vía, independientemente de las oclusiones parciales, se puede minimizar significativamente el riesgo de accidentes".

Además, al inferir el orden relativo de profundidad de los objetos en una escena, los vehículos automatizados pueden tomar decisiones complejas, como en qué dirección moverse hacia el objeto para obtener una vista más clara. Para hacer realidad estas visiones, la tarea y sus beneficios se presentaron a los principales profesionales de la industria automotriz en AutoSens, que se llevó a cabo en el Museo Autoworld de Bruselas.

El otro documento aparece en IEEE Robotics and Automation Letters . + Explora más

Nuevo método permite que la visión del robot identifique objetos ocluidos