Descripción general del sistema de ROBOTURK. ROBOTURK permite el aprendizaje rápido de habilidades guiado por imitación. Este sistema consta de los siguientes pasos principales:1) especificar una tarea, 2) recopilar un gran conjunto de demostraciones de tareas utilizando ROBOTURK, 3) usar el aprendizaje reforzado con demostración aumentada para aprender una política, y 4) desplegar la habilidad aprendida en el dominio de interés. Crédito:Mandlekar et al.
El aprendizaje por imitación es una rama del aprendizaje automático que entrena a las máquinas para que imiten el comportamiento humano mientras realizan tareas específicas. Estas técnicas son muy prometedoras en el campo de la robótica, a medida que abordan algunas de las deficiencias del aprendizaje por refuerzo, como la exploración y la especificación de recompensas.
A pesar de los resultados alentadores, Los estudios de aprendizaje por imitación se han limitado hasta ahora a conjuntos de datos de tamaño modesto debido a las dificultades para recopilar grandes cantidades de demostraciones de tareas utilizando los métodos existentes. Para abordar estas limitaciones, un equipo de investigadores supervisado por el Dr. Silvio Savarese y el Dr. Fei-Fei Li en la Universidad de Stanford ha desarrollado RoboTurk, una plataforma de crowdsourcing para la teleoperación basada en trayectorias 6-DoF de alta calidad utilizando dispositivos de teléfonos inteligentes ampliamente disponibles.
"Queríamos crear algo como ImageNet para robótica, "Ajay Mandlekar, uno de los investigadores que realizó el estudio, dijo a TechXplore. "Creemos que los datos son una limitación clave en el campo del aprendizaje de robots. Si bien hay muchos métodos que aprenden de los datos, como el control basado en datos y el aprendizaje por refuerzo, la mayoría de los métodos recopilan sus propios datos. Como resultado, los datos suelen ser de baja calidad, por ejemplo, resultando en que el robot mueva su brazo al azar. Este tipo de exploración puede ser difícil e inseguro, pero creemos que los humanos pueden ayudar ".
ImageNet es una reconocida base de datos de imágenes creada por el Dr. Li, de uso común en la investigación de reconocimiento de objetos y visión por computadora. La plataforma de crowdsourcing desarrollada por Stanford Vision and Learning Lab fue diseñada para servir como un recurso similar para los estudios de robótica y aprendizaje por imitación.
"A diferencia de ImageNet, dicho sistema de recopilación de datos debía ser dinámico, permitiéndonos recopilar datos repetidamente, a menudo bajo demanda, y tal vez incluso utilizando el aprendizaje colaborativo, "Yuke Zhu, quien también estuvo involucrado en el desarrollo de Roboturk, dijo a TechXplore. "Esto se debe a que los datos que se recopilan dependen de los tipos de acciones que realiza el robot en el entorno".
Diagrama del sistema de ROBOTURK. Un nuevo usuario se conecta a un sitio web para unirse al sistema, y un servidor de coordinación lanza un servidor de teleoperación dedicado para el usuario, como se muestra en (a). A continuación, el servidor de coordinación establece canales de comunicación directa entre el navegador web del usuario y el iPhone y el servidor de teleoperación para iniciar la sesión de teleoperación. El usuario controla el robot simulado moviendo su teléfono, y recibe una transmisión de video como comentarios en su navegador web, como se muestra en (b). Después de cada demostración exitosa, el servidor de teleoperación envía los datos recopilados a un sistema de almacenamiento en la nube. Crédito:Mandlekar et al.
El objetivo final de los investigadores es capacitar a los robots en habilidades de manipulación avanzadas, permitiéndoles completar tareas dentro de entornos industriales como el embalaje o el montaje. Descubrieron que, si bien el aprendizaje por imitación mostraba un gran potencial en este contexto, Los conjuntos de datos existentes eran muy limitados debido a las dificultades para recopilar grandes cantidades de demostraciones de tareas.
"En otros dominios, como la visión por computadora y el procesamiento del lenguaje natural, La supervisión a gran escala de conjuntos de datos a menudo se recopila con la ayuda de crowdsourcing, ", Dijo Mandlekar." Esto permite un mecanismo escalable para la supervisión humana diversa en un amplio conjunto de casos de problemas. Sin embargo, recopilar grandes cantidades de datos ha sido un desafío para las tareas de robótica, ya que exigen interacción en tiempo real y comentarios de los anotadores, imponiendo difíciles restricciones a las plataformas de teleoperación remota ".
El grupo del Laboratorio de Visión y Aprendizaje de Stanford desarrolló RoboTurk, una plataforma de crowdsourcing que permite a los investigadores ampliar las habilidades y tareas que los robots pueden realizar de forma autónoma, mediante el uso de supervisión humana escalable. A través de RoboTurk, los trabajadores remotos pueden iniciar sesión en un sitio web y recopilar demostraciones de tareas, usando su teléfono inteligente como controlador de movimiento.
"RoboTurk es compatible con un backend de simulación basado en la nube que transmite video al navegador web de un cliente mediante protocolos de comunicación de baja latencia, ", Explicó Mandlekar." Esto garantiza una calidad de servicio homogénea independientemente de los recursos informáticos del cliente, dando como resultado una plataforma de uso intuitivo y con una barrera de entrada baja, que son los requisitos básicos de una tarea colaborativa. RoboTurk admite varios robots, Tareas, y simuladores, y se puede ampliar fácilmente para ayudar a otros ".
Los investigadores evaluaron su plataforma en tres tareas de manipulación de diferente duración, que van de 15 a 120 segundos. Descubrieron que RoboTurk compartía similitudes estadísticas con hardware de propósito especial, como controladores de realidad virtual. También observaron que las malas condiciones de la red no afectaron sustancialmente la capacidad de los usuarios para realizar tareas con éxito en la plataforma. Usando RoboTurk, recopilaron 137,5 horas de datos de manipulación de trabajadores remotos, con más de 2200 demostraciones de tareas exitosas en 22 horas de uso total del sistema.
Crédito:Mandlekar et al.
"Creo que la parte más significativa de la plataforma es cómo permitirá que los humanos y los robots interactúen, "Animesh Garg, estudiante postdoctoral liderando el proyecto, dijo a TechXplore. "Los robots son las herramientas inteligentes del futuro. No debemos pensar en ellos como un reemplazo de los humanos, sino como una forma de ampliar nuestras capacidades. Esto permite que los humanos sean más productivos y se centren en problemas de inteligencia de alto nivel". de la misma manera en que la llegada de las computadoras facilitó a las personas el uso de las matemáticas como herramienta para resolver problemas de interés ".
RoboTurk permite de manera efectiva el aprendizaje de políticas en tareas de manipulación de varios pasos con recompensas escasas. Además, Mandlekar y sus colegas descubrieron que el uso de grandes cantidades de demostraciones durante el aprendizaje de políticas tenía beneficios notables, conduciendo a un mejor desempeño y una mayor consistencia en el aprendizaje.
En el futuro, RoboTurk podría convertirse en un recurso clave en el campo de la robótica, ayudando al desarrollo de robots más avanzados y de mejor rendimiento. Los investigadores ahora están aplicando RoboTurk a robots reales, al mismo tiempo que desarrolla algoritmos que pueden usar los datos que recopilaron para enseñar a los robots habilidades de bajo nivel.
"Los robots son una tecnología muy interesante que permitirá a las personas ser más productivas e independientes en todas las esferas de la actividad humana, por ejemplo, ayudar en la cocina, cuidadores de la población mayor, y una mejor atención a los pacientes, ", Dijo Garg." Una de las cosas que nos entusiasma es la democratización de la fabricación. Esta tecnología podría permitir a las personas fabricar y vender productos personalizados sin la necesidad de equipos especiales. así como YouTube ha democratizado la creación y distribución de contenido, permitiendo que cualquiera pueda crear y compartir videos ".
© 2018 Science X Network
