El estudiante Liu Luolin del Instituto Xi'an de Óptica y Mecánica de Precisión (XIOPM) de la Academia de Ciencias de China (CAS) ha propuesto un modelo de dos flujos de extremo a extremo llamado TSFNet para la fusión de imágenes térmicas y visibles. Los resultados fueron publicados en Neurocomputación.

La TSFNet, usando dos ramas para el aprendizaje de funciones, es bastante diferente de los métodos anteriores de dos flujos, y puede capturar completamente la información de ambas fuentes.

Las imágenes térmicas son insensibles al brillo y pueden distinguir los objetos y el fondo diferenciando la radiación térmica. Las imágenes visibles pueden comprender la visión humana de forma más intuitiva y tienen una resolución más alta. Por lo tanto, Se puede inferir que la fusión de los dos puede producir una nueva imagen con objetos claros y alta resolución para monitoreo en todo clima y todo el día / noche.

En este estudio, para permitir que el modelo retenga la información detallada de la imagen fuente de forma autónoma durante la fusión, LIU y los miembros de su equipo adoptaron una estrategia de asignación de peso adaptativa para guiar la selección de funciones. Todo el marco se desmontó en tres módulos, extracción de características, fusión, y reconstrucción.

Según los resultados de los experimentos, TSFNet supera a los métodos de vanguardia bajo diferentes métricas de evaluación. En el futuro, proporcionará una guía para diseñar una nueva red de fusión de imágenes.