Un sistema de simulación inventado en el MIT para entrenar coches sin conductor crea un mundo fotorrealista con infinitas posibilidades de dirección. ayudando a los autos a aprender a navegar en una serie de escenarios en el peor de los casos antes de recorrer calles reales.

Sistemas de control, o "controladores, "para los vehículos autónomos se basan en gran medida en conjuntos de datos del mundo real de trayectorias de conducción de conductores humanos. A partir de estos datos, aprenden a emular controles de dirección seguros en una variedad de situaciones. Pero los datos del mundo real de "casos extremos peligrosos, "como casi chocar o ser forzado fuera de la carretera o en otros carriles, son, afortunadamente, raros.

Algunos programas de computadora, llamados "motores de simulación, "tienen como objetivo imitar estas situaciones mediante la representación de carreteras virtuales detalladas para ayudar a entrenar a los controladores para que se recuperen. Pero nunca se ha demostrado que el control aprendido de la simulación se transfiera a la realidad en un vehículo a gran escala.

Los investigadores del MIT abordan el problema con su simulador fotorrealista, denominada Síntesis y transformación de imágenes virtuales para la autonomía (VISTA). Utiliza solo un pequeño conjunto de datos, capturado por humanos que conducen por una carretera, para sintetizar una cantidad prácticamente infinita de nuevos puntos de vista a partir de trayectorias que el vehículo podría tomar en el mundo real. El controlador es recompensado por la distancia que recorre sin chocar, por lo que debe aprender por sí mismo cómo llegar a un destino de manera segura. Al hacerlo, el vehículo aprende a navegar de forma segura en cualquier situación que encuentre, incluyendo recuperar el control después de cambiar de carril o recuperarse de casi choques.

En pruebas, un controlador capacitado dentro del simulador VISTA pudo ser implementado de manera segura en un automóvil sin conductor a gran escala y navegar por calles nunca antes vistas. Al colocar el automóvil en orientaciones todoterreno que imitaban varias situaciones cercanas a un choque, el controlador también pudo recuperar con éxito el automóvil en una trayectoria de conducción segura en unos pocos segundos. Se ha publicado un artículo que describe el sistema en Cartas de robótica y automatización de IEEE y se presentará en la próxima conferencia de ICRA en mayo.

"Es difícil recopilar datos en estos casos extremos que los humanos no experimentan en la carretera, "dice el primer autor Alexander Amini, un doctorado estudiante del Laboratorio de Informática e Inteligencia Artificial (CSAIL). "En nuestra simulación, sin embargo, los sistemas de control pueden experimentar esas situaciones, aprender por sí mismos a recuperarse de ellos, y permanecer robusto cuando se implementa en vehículos en el mundo real ".

El trabajo se realizó en colaboración con el Toyota Research Institute. Junto a Amini en el papel están Igor Gilitschenski, un postdoctorado en CSAIL; Jacob Phillips, Julia Moseyko, y Rohan Banerjee, todos los estudiantes universitarios en CSAIL y el Departamento de Ingeniería Eléctrica y Ciencias de la Computación; Sertac Karaman, profesor asociado de aeronáutica y astronáutica; y Daniela Rus, director de CSAIL y el profesor Andrew y Erna Viterbi de Ingeniería Eléctrica e Informática.

Simulación basada en datos

Históricamente, La construcción de motores de simulación para entrenar y probar vehículos autónomos ha sido en gran parte una tarea manual. Las empresas y universidades a menudo emplean equipos de artistas e ingenieros para esbozar entornos virtuales, con marcas viales precisas, carriles e incluso hojas detalladas en los árboles. Algunos motores también pueden incorporar la física de la interacción de un automóvil con su entorno, basado en modelos matemáticos complejos.

Pero dado que hay tantas cosas diferentes a considerar en entornos complejos del mundo real, es prácticamente imposible incorporar todo al simulador. Por esta razón, Por lo general, existe una discrepancia entre lo que los controladores aprenden en la simulación y cómo operan en el mundo real.

En lugar de, los investigadores del MIT crearon lo que llaman un motor de simulación "basado en datos" que sintetiza, a partir de datos reales, nuevas trayectorias coherentes con el aspecto de la carretera, así como la distancia y el movimiento de todos los objetos en la escena.

Primero recopilan datos de video de un ser humano que conduce por algunas carreteras y los introducen en el motor. Para cada cuadro, el motor proyecta cada píxel en un tipo de nube de puntos 3D. Luego, colocan un vehículo virtual dentro de ese mundo. Cuando el vehículo da una orden de dirección, el motor sintetiza una nueva trayectoria a través de la nube de puntos, basado en la curva de dirección y la orientación y velocidad del vehículo.

Luego, el motor usa esa nueva trayectoria para representar una escena fotorrealista. Para hacerlo utiliza una red neuronal convolucional, comúnmente utilizada para tareas de procesamiento de imágenes, para estimar un mapa de profundidad, que contiene información relacionada con la distancia de los objetos desde el punto de vista del controlador. Luego combina el mapa de profundidad con una técnica que estima la orientación de la cámara dentro de una escena 3-D. Todo eso ayuda a identificar la ubicación del vehículo y la distancia relativa de todo dentro del simulador virtual.

Basado en esa información, reorienta los píxeles originales para recrear una representación tridimensional del mundo desde el nuevo punto de vista del vehículo. También rastrea el movimiento de los píxeles para capturar el movimiento de los automóviles y las personas, y otros objetos en movimiento, en la escena. "Esto equivale a proporcionar al vehículo un número infinito de trayectorias posibles, "Dice Rus." Porque cuando recopilamos datos físicos, obtenemos datos de la trayectoria específica que seguirá el automóvil. Pero podemos modificar esa trayectoria para cubrir todas las formas y entornos de conducción posibles. Eso es realmente poderoso ".

Aprendizaje reforzado desde cero

Tradicionalmente, Los investigadores han estado entrenando vehículos autónomos ya sea siguiendo reglas de conducción definidas por humanos o tratando de imitar a los conductores humanos. Pero los investigadores hacen que su controlador aprenda completamente desde cero bajo un marco de "extremo a extremo", lo que significa que toma como entrada solo datos brutos del sensor, como observaciones visuales de la carretera, y a partir de esos datos, predice los comandos de dirección en las salidas.

"Básicamente decimos, 'Aquí hay un entorno. Puedes hacer lo que quieras. Simplemente no choques contra vehículos y permanecer dentro de los carriles, '", Dice Amini.

Esto requiere "aprendizaje por refuerzo" (RL), una técnica de aprendizaje automático de prueba y error que proporciona señales de retroalimentación cada vez que el automóvil comete un error. En el motor de simulación de los investigadores, el controlador comienza sin saber nada sobre cómo conducir, qué es un marcador de carril, o incluso se ven otros vehículos, por lo que comienza a ejecutar ángulos de dirección aleatorios. Recibe una señal de retroalimentación solo cuando falla. En ese punto, se teletransporta a una nueva ubicación simulada y tiene que ejecutar un mejor conjunto de ángulos de dirección para evitar chocar de nuevo. Más de 10 a 15 horas de formación, utiliza estas escasas señales de retroalimentación para aprender a viajar distancias cada vez mayores sin chocar.

Después de conducir con éxito 10, 000 kilómetros en simulación, los autores aplican ese controlador aprendido en su vehículo autónomo a gran escala en el mundo real. Los investigadores dicen que esta es la primera vez que un controlador entrenado con aprendizaje de refuerzo de extremo a extremo en simulación se implementa con éxito en un automóvil autónomo a gran escala. "Eso fue sorprendente para nosotros. No solo el controlador nunca antes había estado en un automóvil real, pero tampoco ha visto las carreteras antes y no tiene conocimiento previo sobre cómo conducen los humanos, "Dice Amini.

Obligar al controlador a ejecutar todo tipo de escenarios de conducción le permitió recuperar el control de posiciones desorientadoras, como estar a la mitad de la carretera o en otro carril, y regresar al carril correcto en varios segundos. "Y otros controladores de última generación fallaron trágicamente en eso, porque nunca vieron datos como este en el entrenamiento, "Dice Amini.

Próximo, los investigadores esperan simular todo tipo de condiciones de la carretera a partir de una única trayectoria de conducción, como la noche y el día, y clima soleado y lluvioso. También esperan simular interacciones más complejas con otros vehículos en la carretera. "¿Qué pasa si otros autos comienzan a moverse y saltan frente al vehículo?" Dice Rus. "Esos son complejos, interacciones del mundo real que queremos empezar a probar ".