Los investigadores del MIT han compilado un conjunto de datos que captura el comportamiento detallado de un sistema robótico que empuja físicamente cientos de objetos diferentes. Utilizando el conjunto de datos, el más grande y diverso de su tipo, los investigadores pueden entrenar a los robots para que "aprendan" las dinámicas de empuje que son fundamentales para muchas tareas complejas de manipulación de objetos. incluida la reorientación e inspección de objetos, y escenas despejadas.

Para capturar los datos, los investigadores diseñaron un sistema automatizado que consta de un brazo robótico industrial con control preciso, un sistema de seguimiento de movimiento en 3-D, cámaras de profundidad y tradicionales, y software que une todo. El brazo empuja alrededor de objetos modulares que se pueden ajustar según el peso, forma, y distribución masiva. Por cada empujón, el sistema captura cómo esas características afectan el empuje del robot.

El conjunto de datos llamado "Omnipush, "contiene 250 pulsaciones diferentes de 250 objetos, totalizando aproximadamente 62, 500 empujes únicos. Los investigadores ya lo están utilizando para, por ejemplo, Construya modelos que ayuden a los robots a predecir dónde aterrizarán los objetos cuando sean empujados.

"Necesitamos una gran cantidad de datos enriquecidos para asegurarnos de que nuestros robots puedan aprender, "dice María Bauza, estudiante de posgrado en el Departamento de Ingeniería Mecánica (MechE) y primer autor de un artículo que describe Omnipush que se presentará en la próxima Conferencia Internacional sobre Robots y Sistemas Inteligentes. "Aquí, recopilamos datos de un sistema robótico real, [y] los objetos son lo suficientemente variados como para capturar la riqueza de los fenómenos de empuje. Esto es importante para ayudar a los robots a comprender cómo funciona el empuje, y traducir esa información a otros objetos similares en el mundo real ".

Junto a Bauza en el papel están:Ferran Alet y Yen-Chen Lin, estudiantes de posgrado en el Laboratorio de Informática e Inteligencia Artificial y el Departamento de Ingeniería Eléctrica e Informática (EECS); Tomás Lozano-Pérez, el Profesor de Excelencia Docente de la Escuela de Ingeniería; Leslie P. Kaelbling, el Profesor Panasonic de Ciencias de la Computación e Ingeniería; Phillip Isola, profesor asistente en EECS; y Alberto Rodríguez, profesor asociado en MechE.

Diversificando datos

¿Por qué concentrarse en el comportamiento de empuje? Modelado de dinámicas de empuje que involucran fricción entre objetos y superficies, Rodríguez explica, es fundamental en tareas robóticas de alto nivel. Considere el robot visual y técnicamente impresionante que puede jugar a Jenga, que Rodríguez co-diseñó recientemente. "El robot está realizando una tarea compleja, pero el núcleo de la mecánica que impulsa esa tarea sigue siendo el de empujar un objeto afectado por, por ejemplo, la fricción entre bloques, "Dice Rodríguez.

Omnipush se basa en un conjunto de datos similar construido en el Laboratorio de Manipulación y Mecanismos (MCube) por Rodríguez, Bauza, y otros investigadores que capturaron datos de empuje en solo 10 objetos. Después de hacer público el conjunto de datos en 2016, recopilaron comentarios de los investigadores. Una queja fue la falta de diversidad de objetos:los robots entrenados en el conjunto de datos tenían dificultades para generalizar la información a nuevos objetos. Tampoco hubo video, que es importante para la visión por computadora, predicción de video, y otras tareas.

Para su nuevo conjunto de datos, los investigadores aprovechan un brazo robótico industrial con control de precisión de la velocidad y la posición de un empujador, básicamente una varilla de acero vertical. Mientras el brazo empuja los objetos, un sistema de seguimiento de movimiento "Vicon", que se ha utilizado en películas, realidad virtual, y para la investigación, sigue los objetos. También hay una cámara RGB-D, que agrega información de profundidad al video capturado.

La clave fue construir objetos modulares. Las piezas centrales uniformes, hecho de aluminio, parecen estrellas de cuatro puntas y pesan unos 100 gramos. Cada pieza central contiene marcadores en su centro y puntos, para que el sistema Vicon pueda detectar su pose dentro de un milímetro.

Piezas más pequeñas en cuatro formas:cóncavas, triangular, rectangular, y circular:se puede unir magnéticamente a cualquier lado de la pieza central. Cada pieza pesa entre 31 y 94 gramos, pero pesos extra, que van de 60 a 150 gramos, se puede dejar caer en pequeños agujeros en las piezas. Todas las piezas de los objetos en forma de rompecabezas se alinean tanto horizontal como verticalmente, lo que ayuda a emular la fricción que tendría un solo objeto con la misma forma y distribución de masa. Todas las combinaciones de diferentes lados, pesos y distribuciones masivas agregaron hasta 250 objetos únicos.

Por cada empujón, el brazo se mueve automáticamente a una posición aleatoria a varios centímetros del objeto. Luego, selecciona una dirección aleatoria y empuja el objeto durante un segundo. Empezando desde donde se detuvo luego elige otra dirección aleatoria y repite el proceso 250 veces. Cada pulsación registra la pose del objeto y el vídeo RGB-D, que se puede utilizar para varios propósitos de predicción de video. La recopilación de datos tomó 12 horas al día, por dos semanas, totalizando más de 150 horas. La intervención humana solo fue necesaria al reconfigurar manualmente los objetos.

Los objetos no imitan específicamente ningún elemento de la vida real. En lugar de, están diseñados para capturar la diversidad de "cinemática" y "asimetrías de masas" que se esperan de los objetos del mundo real, que modelan la física del movimiento de objetos del mundo real. Los robots pueden extrapolar, decir, el modelo físico de un objeto Omnipush con distribución de masa desigual para cualquier objeto del mundo real con distribuciones de peso desiguales similares.

"Imagínese empujando una mesa con cuatro patas, donde la mayor parte del peso recae sobre una de las piernas. Cuando empujas la mesa ves que gira sobre la pierna pesada y tienes que reajustar. Entendiendo esa distribución masiva, y su efecto en el resultado de un empujón, es algo que los robots pueden aprender con este conjunto de objetos, "Dice Rodríguez.

Impulsando nuevas investigaciones

En un experimento, los investigadores utilizaron Omnipush para entrenar un modelo para predecir la pose final de los objetos empujados, dada solo la pose inicial y la descripción del empujón. Entrenaron el modelo en 150 objetos Omnipush, y lo probé en una porción de objetos retenida. Los resultados mostraron que el modelo entrenado por Omnipush era dos veces más preciso que los modelos entrenados en unos pocos conjuntos de datos similares. En su papel los investigadores también registraron puntos de referencia de precisión que otros investigadores pueden usar para comparar.

Debido a que Omnipush captura un video de los empujones, una aplicación potencial es la predicción de video. Un colaborador, por ejemplo, ahora está usando el conjunto de datos para entrenar a un robot para que esencialmente "imagine" empujar objetos entre dos puntos. Después de entrenar en Omnipush, el robot recibe como entrada dos fotogramas de vídeo, mostrando un objeto en su posición inicial y final. Usando la posición inicial, el robot predice todos los fotogramas de vídeo futuros que garantizan que el objeto llegue a su posición final. Luego, empuja el objeto de una manera que coincide con cada fotograma de video predicho, hasta llegar al marco con la posición final.

"El robot pregunta, "Si hago esta acción, ¿Dónde estará el objeto en este marco? "Entonces, selecciona la acción que maximiza la probabilidad de colocar el objeto en la posición que desea, "Dice Bauza." Decide cómo mover objetos imaginando primero cómo cambiarán los píxeles de la imagen después de un empujón ".

"Omnipush incluye mediciones precisas del movimiento del objeto, así como datos visuales, para una clase importante de interacciones entre robots y objetos en el mundo, "dice Matthew T. Mason, profesor de informática y robótica en Carnegie Melon University. "Los investigadores de robótica pueden utilizar estos datos para desarrollar y probar nuevos enfoques de aprendizaje de robots ... que impulsarán los continuos avances en la manipulación robótica".

Esta historia se vuelve a publicar por cortesía de MIT News (web.mit.edu/newsoffice/), un sitio popular que cubre noticias sobre la investigación del MIT, innovación y docencia.