Un nuevo tiempo real El sistema de seguimiento de movimiento 3D desarrollado en la Universidad de Michigan combina detectores de luz transparente con métodos avanzados de redes neuronales para crear un sistema que algún día podría reemplazar LiDAR y cámaras en tecnologías autónomas.

Si bien la tecnología aún está en pañales, las aplicaciones futuras incluyen la fabricación automatizada, imagen biomédica y conducción autónoma. Se publica un artículo sobre el sistema en Comunicaciones de la naturaleza.

El sistema de imágenes aprovecha las ventajas de la transparencia, nanoescala fotodetectores de grafeno altamente sensibles desarrollados por Zhaohui Zhong, Profesor asociado de ingeniería eléctrica e informática de la U-M, y su grupo. Se cree que son los primeros de su tipo.

"La combinación en profundidad de nanodispositivos de grafeno y algoritmos de aprendizaje automático puede generar oportunidades fascinantes tanto en ciencia como en tecnología, "dijo Dehui Zhang, estudiante de doctorado en ingeniería eléctrica e informática. "Nuestro sistema combina eficiencia energética computacional, velocidad de seguimiento rápida, hardware compacto y menor costo en comparación con otras soluciones ".

Los fotodetectores de grafeno en este trabajo se han ajustado para absorber solo alrededor del 10% de la luz a la que están expuestos. haciéndolos casi transparentes. Debido a que el grafeno es tan sensible a la luz, esto es suficiente para generar imágenes que pueden reconstruirse mediante imágenes computacionales. Los fotodetectores se apilan uno detrás del otro, resultando en un sistema compacto, y cada capa se centra en un plano focal diferente, que permite la obtención de imágenes en 3D.

Pero las imágenes en 3D son solo el comienzo. El equipo también abordó el seguimiento de movimiento en tiempo real, que es fundamental para una amplia gama de aplicaciones robóticas autónomas. Para hacer esto, necesitaban una forma de determinar la posición y orientación de un objeto que se estaba rastreando. Los enfoques típicos involucran sistemas LiDAR y cámaras de campo de luz, ambos sufren limitaciones importantes, dicen los investigadores. Otros utilizan metamateriales o varias cámaras. El hardware por sí solo no fue suficiente para producir los resultados deseados.

También necesitaban algoritmos de aprendizaje profundo. Zhen Xu ayudó a tender un puente entre esos dos mundos, estudiante de doctorado en ingeniería eléctrica e informática. Construyó la configuración óptica y trabajó con el equipo para permitir que una red neuronal descifrara la información posicional.

La red neuronal está entrenada para buscar objetos específicos en toda la escena, y luego enfocarse solo en el objeto de interés, por ejemplo, un peatón en el tráfico, o un objeto que se mueve hacia su carril en una carretera. La tecnología funciona particularmente bien para sistemas estables, como la fabricación automatizada, o proyectar estructuras del cuerpo humano en 3D para la comunidad médica.

"Se necesita tiempo para entrenar su red neuronal, "dijo el líder del proyecto Ted Norris, profesor de ingeniería eléctrica e informática. "Pero una vez hecho, se hace. Entonces, cuando una cámara ve una escena determinada, puede dar una respuesta en milisegundos ".

El estudiante de doctorado Zhengyu Huang dirigió el diseño del algoritmo para la red neuronal. El tipo de algoritmos que desarrolló el equipo es diferente a los algoritmos de procesamiento de señales tradicionales utilizados para tecnologías de imágenes de larga data, como rayos X y MRI. Y eso es emocionante para el colíder del equipo, Jeffrey Fessler, profesor de ingeniería eléctrica e informática, que se especializa en imágenes médicas.

"En mis 30 años en Michigan, este es el primer proyecto en el que participé en el que la tecnología está en su infancia, ", Dijo Fessler." Estamos muy lejos de algo que comprará en Best Buy, pero eso esta bien. Eso es parte de lo que hace que esto sea emocionante ".

El equipo demostró éxito al rastrear un rayo de luz, así como una mariquita real con una pila de dos matrices de fotodetectores de grafeno de 4x4 (16 píxeles). También demostraron que su técnica es escalable. Creen que se necesitarían tan solo 4, 000 píxeles para algunas aplicaciones prácticas, y matrices de 400x600 píxeles para muchos más.

Si bien la tecnología podría usarse con otros materiales, Las ventajas adicionales del grafeno son que no requiere iluminación artificial y es ecológico. Será un desafío construir la infraestructura de fabricación necesaria para la producción en masa, pero puede valer la pena, dicen los investigadores.

"El grafeno es ahora lo que era el silicio en 1960, ", Dijo Norris." A medida que continuamos desarrollando esta tecnología, podría motivar el tipo de inversión que se necesitaría para la comercialización ".

El artículo se titula "Seguimiento 3D basado en redes neuronales con un sistema de imágenes de pila focal transparente de grafeno".