Para mejorar la seguridad de los sistemas autónomos, Los ingenieros del MIT han desarrollado un sistema que puede detectar pequeños cambios en las sombras en el suelo para determinar si hay un objeto en movimiento que se acerca a la esquina.

Los automóviles autónomos algún día podrían usar el sistema para evitar rápidamente una posible colisión con otro automóvil o peatón que salga de la esquina de un edificio o entre automóviles estacionados. En el futuro, Los robots que pueden navegar por los pasillos de los hospitales para hacer entregas de medicamentos o suministros podrían usar el sistema para evitar golpear a las personas.

En un documento que se presentará en la Conferencia Internacional de Robots y Sistemas Inteligentes (IROS) de la próxima semana, los investigadores describen experimentos exitosos con un automóvil autónomo que circula por un estacionamiento y una silla de ruedas autónoma que recorre los pasillos. Al detectar y detenerse ante un vehículo que se aproxima, el sistema basado en automóviles supera al LiDAR tradicional, que solo puede detectar objetos visibles, en más de medio segundo.

Puede que no parezca mucho pero fracciones de segundo son importantes cuando se trata de vehículos autónomos de movimiento rápido, dicen los investigadores.

"Para aplicaciones en las que los robots se mueven por entornos con otros objetos o personas en movimiento, nuestro método puede dar al robot una advertencia temprana de que alguien está llegando a la vuelta de la esquina, para que el vehículo pueda reducir la velocidad, adaptar su camino, y prepárate de antemano para evitar una colisión, "agrega la coautora Daniela Rus, director del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) y el Profesor Andrew y Erna Viterbi de Ingeniería Eléctrica e Informática. "El gran sueño es proporcionar una especie de" visión de rayos X "a los vehículos que se mueven rápidamente en las calles".

En la actualidad, el sistema solo se ha probado en interiores. Las velocidades robóticas son mucho más bajas en interiores, y las condiciones de iluminación son más consistentes, facilitando que el sistema detecte y analice las sombras.

Junto a Rus en el papel están:el primer autor Felix Naser SM '19, un ex investigador de CSAIL; Alejandro Amini, un estudiante de posgrado de CSAIL; Igor Gilitschenski, un postdoctorado de CSAIL; Christina Liao '19, recién graduada; Guy Rosman del Instituto de Investigación de Toyota; y Sertac Karaman, profesor asociado de aeronáutica y astronáutica en el MIT.

Ampliación de ShadowCam

Por su trabajo, los investigadores construyeron en su sistema, llamado "ShadowCam, "que utiliza técnicas de visión por computadora para detectar y clasificar cambios en las sombras en el suelo. Los profesores del MIT William Freeman y Antonio Torralba, que no son coautores del artículo de IROS, colaboró ​​en las versiones anteriores del sistema, que fueron presentados en conferencias en 2017 y 2018.

Para la entrada, ShadowCam usa secuencias de fotogramas de video de una cámara que apunta a un área específica, como el piso frente a una esquina. Detecta cambios en la intensidad de la luz a lo largo del tiempo, de imagen en imagen, que puede indicar que algo se aleja o se acerca. Algunos de esos cambios pueden ser difíciles de detectar o invisibles a simple vista. y puede estar determinado por diversas propiedades del objeto y el entorno. ShadowCam calcula esa información y clasifica cada imagen como que contiene un objeto estacionario o dinámico, moviendo uno. Si llega a una imagen dinámica, reacciona en consecuencia.

La adaptación de ShadowCam para vehículos autónomos requirió algunos avances. La primera versión, por ejemplo, confió en delinear un área con etiquetas de realidad aumentada llamadas "AprilTags, "que se asemejan a códigos QR simplificados. Los robots escanean AprilTags para detectar y calcular su posición y orientación 3D precisas en relación con la etiqueta. ShadowCam usó las etiquetas como características del entorno para concentrarse en parches específicos de píxeles que pueden contener sombras. Pero modificar entornos del mundo real con AprilTags no es práctico.

Los investigadores desarrollaron un proceso novedoso que combina el registro de imágenes y una nueva técnica de odometría visual. Usado a menudo en visión artificial, El registro de imágenes esencialmente se superpone a múltiples imágenes para revelar variaciones en las imágenes. Registro de imágenes médicas, por ejemplo, superpone escaneos médicos para comparar y analizar diferencias anatómicas.

Odometría visual, utilizado para Mars Rovers, estima el movimiento de una cámara en tiempo real analizando la pose y la geometría en secuencias de imágenes. Los investigadores emplean específicamente "Odometría dispersa directa" (DSO), que puede calcular puntos de características en entornos similares a los capturados por AprilTags. Esencialmente, DSO traza características de un entorno en una nube de puntos 3-D, y luego una canalización de visión por computadora selecciona solo las características ubicadas en una región de interés, como el piso cerca de una esquina. (Las regiones de interés se anotaron manualmente de antemano).

Como ShadowCam toma secuencias de imágenes de entrada de una región de interés, utiliza el método de registro de imágenes DSO para superponer todas las imágenes desde el mismo punto de vista del robot. Incluso cuando un robot se mueve, puede concentrarse exactamente en el mismo parche de píxeles donde se encuentra una sombra para ayudarlo a detectar cualquier desviación sutil entre las imágenes.

Lo siguiente es la amplificación de la señal, una técnica presentada en el primer artículo. Los píxeles que pueden contener sombras obtienen un aumento de color que reduce la relación señal / ruido. Esto hace que las señales extremadamente débiles de los cambios de sombra sean mucho más detectables. Si la señal aumentada alcanza un cierto umbral, basado en parte en cuánto se desvía de otras sombras cercanas, ShadowCam clasifica la imagen como "dinámica". Dependiendo de la fuerza de esa señal, el sistema puede indicarle al robot que reduzca la velocidad o se detenga.

"Al detectar esa señal, entonces puedes tener cuidado. Puede ser la sombra de una persona corriendo detrás de la esquina o un automóvil estacionado, para que el coche autónomo pueda reducir la velocidad o detenerse por completo, "Dice Naser.

Prueba sin etiquetas

En una prueba, los investigadores evaluaron el rendimiento del sistema en la clasificación de objetos móviles o estacionarios utilizando AprilTags y el nuevo método basado en DSO. Una silla de ruedas autónoma se dirigió hacia varias esquinas de los pasillos mientras los humanos doblaban la esquina hacia el camino de la silla de ruedas. Ambos métodos lograron la misma precisión de clasificación del 70 por ciento, lo que indica AprilTags ya no son necesarios.

En una prueba separada, los investigadores implementaron ShadowCam en un automóvil autónomo en un estacionamiento, donde se apagaron los faros, imitando las condiciones de conducción nocturna. Compararon los tiempos de detección de automóviles con LiDAR. En un escenario de ejemplo, ShadowCam detectó que el automóvil giraba alrededor de los pilares unos 0,72 segundos más rápido que LiDAR. Es más, porque los investigadores habían ajustado ShadowCam específicamente a las condiciones de iluminación del garaje, el sistema logró una precisión de clasificación de alrededor del 86 por ciento.

Próximo, los investigadores están desarrollando el sistema para que funcione en diferentes condiciones de iluminación interior y exterior. En el futuro, También podría haber formas de acelerar la detección de sombras del sistema y automatizar el proceso de anotar áreas específicas para la detección de sombras.

Esta historia se vuelve a publicar por cortesía de MIT News (web.mit.edu/newsoffice/), un sitio popular que cubre noticias sobre la investigación del MIT, innovación y docencia.