Visualización de distribuciones de rotación. Las líneas representan la probabilidad de rotaciones superiores a un umbral. La longitud de cada línea es proporcional a la probabilidad de ese punto de vista. Como puede verse, PoseRBPF naturalmente representa incertidumbres debido a varios tipos de simetrías, incluida la simetría rotacional del cuenco, simetría de espejo del ladrillo de espuma, y simetrías rotacionales discretas de los objetos T-LESS a la derecha. Crédito:Deng et al.
Investigadores de NVIDIA, Universidad de Washington, Universidad Stanford, y la Universidad de Illinois Urbana-Champaign han desarrollado recientemente un filtro de partículas Rao-Blackwellized para el seguimiento de pose 6-D, llamado PoseRBPF. El enfoque puede estimar de manera efectiva la traslación 3-D de un objeto y su distribución completa sobre la rotación 3-D. El documento que describe este filtro, prepublicado en arXiv, se presentará en la próxima Conferencia sobre ciencia y sistemas robóticos en Friburgo, Alemania.
El seguimiento de poses 6-D de objetos en videos puede mejorar el rendimiento de los robots en una variedad de tareas, incluidas las tareas de manipulación y navegación. La mayoría de las técnicas existentes para la estimación de la pose de un objeto intentan predecir una sola estimación de la pose 6-D (es decir, traslación xyz y orientación 3-D) de un objeto en cada fotograma de la cámara.
Estos métodos tienen una serie de limitaciones y problemas. Por ejemplo, son incapaces de distinguir la pose de objetos ocluidos total o parcialmente. Es más, hay situaciones en las que, debido a las simetrías, no hay una única respuesta correcta para la pose de un objeto, lo que complica aún más la tarea.
"Resulta que muchos objetos de nuestro entorno cotidiano son simétricos, como platos de comida, bochas, botellas o cubos, "Arsalan Mousavian, uno de los investigadores que realizó el estudio, dijo a TechXplore. "Estos objetos no tienen una orientación 3D única, ya que se ven idénticos desde muchos ángulos de visión diferentes. Para evitar estos problemas, propusimos un método para rastrear la distribución completa de la pose de un objeto (en oposición a la estimación de pose única) a lo largo del tiempo. Esta distribución captura con precisión la incertidumbre en la pose del objeto, y el seguimiento a lo largo del tiempo ayuda a eliminar la ambigüedad de la pose del objeto. Por ejemplo, si un objeto es visible en algún punto y se ocluye, el método puede recuperar la pose siguiéndola desde los fotogramas anteriores ".
PoseRBPF, el enfoque desarrollado por Mousavian y sus colegas, puede rastrear la distribución completa sobre la pose 6-D (es decir, traducción 3-D, Orientación 3-D) de un objeto dado, en relación con una cámara en particular. Las distribuciones de probabilidad sobre el espacio 6-D son muy complejas, por lo que si no se miden correctamente es imposible actualizarlos en tiempo real. Para garantizar la precisión de las distribuciones rastreadas, los investigadores desacoplaron sus estimaciones de traslación de objetos 3-D y orientación de objetos 3-D utilizando una técnica llamada filtrado de partículas Rao-Blackwellized.
"En el filtrado de partículas Rao-Blackwellized, las traducciones de objetos están representadas por muestras, o partículas, y la orientación se discretiza en pequeños trozos de cerca de 200, 000 orientaciones posibles, "Explicó Mousavian." Usamos una técnica de aprendizaje profundo para pre-computar incrustaciones que representan cómo se vería el objeto en todas estas orientaciones y bajo condiciones de iluminación arbitrarias. Aprovechando el procesamiento de GPU NVIDIA altamente paralelizado, nuestro enfoque puede comparar la imagen de la cámara actual con estas incrustaciones precalculadas para todas las orientaciones posibles y actualizar la distribución en tiempo real ".
En cada paso de tiempo, el enfoque ideado por los investigadores actualiza el conjunto de partículas mediante el muestreo del conjunto de partículas anterior, siguiendo un modelo que predice cómo el objeto y la cámara podrían moverse de un paso a otro. Este proceso permite a PoseRBPF acumular información a lo largo del tiempo, lo que a su vez conduce a estimaciones de pose más robustas y precisas.
Visualización de distribuciones de rotación. Crédito:Deng et al.
Ilustración del cálculo de la probabilidad de rotación condicional mediante la coincidencia del libro de códigos. Izquierda) Cada partícula recorta la imagen según su hipótesis de traducción. El RoI de cada partícula se redimensiona y el código correspondiente se calcula utilizando el codificador. Derecha) La distribución de rotación P (R | Z, T) se calcula a partir de la distancia entre el código de cada hipótesis y los del libro de códigos. Crédito:Deng et al.
Para cada partícula, la distribución de la orientación se estima condicionada a la estimación de la traducción, mientras que la estimación de la traducción se evalúa con los RoI correspondientes. Crédito:Deng et al.
Descripción general del marco PoseRBPF para el seguimiento de pose de objetos 6D. Crédito:Deng et al.
Visualización de distribuciones de rotación. Las líneas representan la probabilidad de rotaciones superiores a un umbral. La longitud de cada línea es proporcional a la probabilidad de ese punto de vista. Como puede verse, PoseRBPF naturalmente representa incertidumbres debido a varios tipos de simetrías, incluida la simetría rotacional del cuenco, simetría de espejo del ladrillo de espuma, y simetrías rotacionales discretas de los objetos T-LESS a la derecha. Crédito:Deng et al.
Al condicionar la estimación de la orientación a la traducción, el sistema de seguimiento propuesto por Mousavian y sus colegas puede representar de manera efectiva distribuciones de incertidumbre complejas en el espacio de poses de objetos 6-D. Su marco también proporciona información de incertidumbre sobre la pose de un objeto dado, que podría ser particularmente útil en tareas de manipulación de robots. Es más, el sistema se entrenó utilizando datos sintéticos y no anotados, por lo tanto, puede ahorrar a los investigadores el tiempo y los recursos dedicados a la anotación de datos.
"Nuestro método combina el marco de estimación bayesiano clásico del filtrado de partículas con el aprendizaje profundo, ", Dijo Mousavian." De este modo, reúne técnicas de estimación bien establecidas desarrolladas durante las últimas décadas y el poder de los enfoques recientes de aprendizaje profundo. Como resultado, PoseRBPF puede estimar de forma robusta poses de objetos arbitrarios, incluidos los simétricos ".
Los investigadores evaluaron su enfoque en dos conjuntos de datos de estimación de pose 6-D:el conjunto de datos de video YCB y el conjunto de datos T-LESS. PoseRBPF logró resultados de vanguardia, superando a otras técnicas de estimación de pose. En el futuro, el filtro de partículas desarrollado por Mousavian y sus colegas podría mejorar el rendimiento de los robots en una variedad de entornos, por ejemplo, mejorando sus capacidades de manipulación de objetos.
"Avanzando, Investigaremos cómo utilizar las estimaciones de incertidumbre proporcionadas por PoseRBPF en el contexto de la manipulación de objetos, ", Dijo Mousavian." Otra vía para el trabajo futuro es mover activamente la cámara para reducir la incertidumbre en la pose de un objeto, como mirar un objeto desde un punto de vista diferente para resolver la ambigüedad ".
© 2019 Science X Network
