Los investigadores del ejército han desarrollado una técnica de inteligencia artificial y aprendizaje automático que produce una imagen facial visible a partir de una imagen térmica del rostro de una persona capturada en condiciones de poca luz o durante la noche. Este desarrollo podría conducir a una mejor biometría en tiempo real y análisis forense posterior a la misión para operaciones nocturnas encubiertas.

Cámaras térmicas como FLIR, o infrarrojos orientados al futuro, los sensores se despliegan activamente en vehículos aéreos y terrestres, en torres de vigilancia y en puntos de control con fines de vigilancia. Más recientemente, Las cámaras térmicas están disponibles para su uso como cámaras corporales. La capacidad de realizar un reconocimiento facial automático durante la noche utilizando estas cámaras térmicas es beneficiosa para informar a un soldado de que una persona es alguien de interés. como alguien que puede estar en una lista de vigilancia.

Las motivaciones de esta tecnología, desarrollada por los Dres. Benjamin S. Riggan, Nathaniel J. Short y Shuowen "Sean" Hu, del Laboratorio de Investigación del Ejército de los EE. UU., son para mejorar las capacidades tanto automáticas como de emparejamiento humano.

"Esta tecnología permite hacer coincidir las imágenes térmicas de rostros y las bases de datos biométricas de rostros / listas de vigilancia existentes que solo contienen imágenes de rostros visibles, "dijo Riggan, un científico investigador. "La tecnología proporciona una forma para que los humanos comparen visualmente las imágenes faciales térmicas y visibles a través de la síntesis facial térmica a visible".

Dijo que en condiciones nocturnas y con poca luz, no hay luz suficiente para que una cámara convencional capture imágenes faciales para el reconocimiento sin iluminación activa, como un flash o un foco, que revelaría la posición de tales cámaras de vigilancia; sin embargo, Las cámaras térmicas que capturan la firma de calor que emana naturalmente del tejido vivo de la piel son ideales para tales condiciones.

"Cuando se utilizan cámaras térmicas para capturar imágenes faciales, el principal desafío es que la imagen térmica capturada debe compararse con una lista de observación o galería que solo contiene imágenes visibles convencionales de personas de interés conocidas, "Dijo Riggan." Por lo tanto, el problema se convierte en lo que se conoce como espectro cruzado, o heterogéneo, Reconocimiento facial. En este caso, las imágenes de la sonda facial adquiridas en una modalidad se comparan con una base de datos de la galería adquirida utilizando una modalidad de imagen diferente ".

Este enfoque aprovecha las técnicas avanzadas de adaptación de dominios basadas en redes neuronales profundas. El enfoque fundamental se compone de dos partes clave:un modelo de regresión no lineal que mapea una imagen térmica dada en una representación latente visible correspondiente y un problema de optimización que proyecta la proyección latente de regreso al espacio de la imagen.

Los detalles de este trabajo se presentaron en marzo en un documento técnico "Síntesis térmica a visible de imágenes faciales usando múltiples regiones" en la Conferencia de invierno de IEEE sobre aplicaciones de visión por computadora, o WACV, en el lago Tahoe, Nevada, que es una conferencia técnica compuesta por académicos y científicos del mundo académico, industria y gobierno.

En la conferencia, Los investigadores del ejército demostraron que la combinación de información global, como las características de todo el rostro, e información local, como características de regiones fiduciales discriminatorias, por ejemplo, ojos, nariz y boca, mejoró la discriminabilidad de las imágenes sintetizadas. Mostraron cómo las representaciones mapeadas térmicas a visibles de las regiones globales y locales en la firma de la cara térmica podrían usarse en conjunto para sintetizar una imagen de cara visible refinada.

El problema de optimización para sintetizar una imagen intenta preservar conjuntamente la forma de todo el rostro y la apariencia de los detalles fiduciales locales. Usando las imágenes sintetizadas térmicas a visibles y las imágenes de la galería visible existente, realizaron experimentos de verificación facial utilizando una arquitectura de red neuronal profunda de código abierto común para el reconocimiento facial. La arquitectura utilizada está diseñada explícitamente para el reconocimiento facial basado en lo visible. El resultado más sorprendente es que su enfoque logró un mejor rendimiento de verificación que un enfoque generativo basado en la red de confrontación, que anteriormente mostraba propiedades fotorrealistas.

Riggan atribuye este resultado al hecho de que el objetivo de la teoría del juego para las GAN busca inmediatamente generar imágenes que sean lo suficientemente similares en rango dinámico y apariencia fotográfica a las imágenes de entrenamiento. aunque a veces se descuida la preservación de las características identificativas, él dijo. El enfoque desarrollado por ARL preserva la información de identidad para mejorar la discriminación, por ejemplo, mayor precisión de reconocimiento tanto para los algoritmos de reconocimiento facial automático como para la adjudicación humana.

Como parte de la presentación del artículo, Los investigadores de ARL mostraron una demostración casi en tiempo real de esta tecnología. La demostración de prueba de concepto incluyó el uso de una cámara térmica FLIR Boson 320 y una computadora portátil que ejecuta el algoritmo casi en tiempo real. Esta demostración mostró a la audiencia que una imagen térmica capturada de una persona se puede utilizar para producir una imagen visible sintetizada in situ. Este trabajo recibió un premio al mejor artículo en la sesión de rostros / biometría de la conferencia, de más de 70 trabajos presentados.

Riggan dijo que él y sus colegas continuarán ampliando esta investigación bajo el patrocinio de la Agencia de Defensa Forense y Biométrica para desarrollar una sólida capacidad de reconocimiento facial nocturno para el Soldado.