Ilustración del procedimiento de detección de movimiento basado en el cálculo diferencial entre cuadros. (1) Primero, el equipo desarrolló los dispositivos retinomórficos con fotoconductividad positiva y negativa no volátil y registró experimentalmente los parámetros de respuesta positiva y negativa de los dispositivos; (2) los parámetros del dispositivo se utilizan para construir m × n matrices de fotoconductividad positivas y negativas. Y establecemos un intervalo de tiempo adecuado ∆t basado en el patrón de movimiento de los carros y extraemos los dos fotogramas (t1, t1+∆t) en el intervalo ∆t. Los píxeles de m × n del cuadro anterior se multiplican por la matriz de mapeo negativa y se almacenan, debido a la memoria de fotoconductividad no volátil. El último cuadro m × n píxeles se multiplica por la matriz de mapeo positivo y el resultado memorizado se suma con el cuadro anterior; (3) después de obtener la suma entre cuadros, se define una función de activación de pasos para ayudar a diferenciar los datos sumados. Finalmente, los píxeles clasificados se reorganizaron en una secuencia para construir la imagen detectada por Python. Dado que los píxeles son diferentes bajo marcos variables si el carro está en movimiento, y es distinguible después de multiplicar y sumar con las matrices de fotoconductividad positiva y negativa. Crédito:Zhang et al.
Los dispositivos que pueden detectar y reconocer automáticamente objetos en movimiento tienen numerosas aplicaciones valiosas, por ejemplo, mejorar el monitoreo ambiental remoto. La mayoría de las tecnologías de detección y reconocimiento de movimiento (MDR) existentes se basan en sensores de imagen fabricados con semiconductores de óxido metálico complementario (CMOS). En comparación con la retina humana, estos sistemas suelen ser voluminosos e ineficaces, ya que requieren varios componentes de hardware para capturar, almacenar y procesar imágenes.
Investigadores de la Universidad de Fudan y la Academia de Ciencias de China han desarrollado recientemente un nuevo dispositivo bidimensional (2D) inspirado en la retina humana que puede detectar movimientos, almacenar datos de movimiento y analizarlos. Este dispositivo todo en uno, presentado en un artículo publicado en Nature Nanotechnology , es mucho menos voluminoso que los dispositivos existentes para el reconocimiento de movimiento, pero puede reconocer objetos en movimiento con gran precisión.
"Inicialmente, diseñamos la estructura específica que mostraba una nueva función de almacenamiento de fotografías positivas y negativas", dijo Peng Zhou, uno de los investigadores que llevó a cabo el estudio, a Phys.org. "Después de comunicarnos con un profesor especializado en visión artificial, descubrimos los puntos en común entre la estructura y la red retinal y comenzamos el diseño y la exploración de la función de visión artificial como detección de movimiento y detección de bordes".
Zhou y sus colegas se propusieron desarrollar un dispositivo que pueda detectar la luz, almacenar datos y realizar cálculos, utilizando hardware con forma de retina humana. El objetivo general de su trabajo fue lograr la detección y el reconocimiento de movimiento con un dispositivo más simple y liviano que consuma menos energía.
"El dispositivo todo en uno que creamos tiene dos modos diferentes basados en los diferentes portadores almacenados, que corresponden a una respuesta óptica positiva y negativa, respectivamente", explicó Zhou. "Por lo tanto, puede producir una salida antagónica no volátil positiva/negativa bajo iluminación. La integración de detección, memoria y computación es similar al modo de la red retinal humana".
Como el dispositivo creado por Zhou y sus colegas se asemeja en parte a la retina humana, el equipo evaluó su capacidad para realizar algunas de las funciones de la retina, incluida la detección de movimiento y de bordes. Sorprendentemente, descubrieron que una red neuronal artificial que se ejecuta en el dispositivo inspirado en la retina podría reconocer objetos en movimiento con una precisión significativamente mayor que los algoritmos que se ejecutan en otros dispositivos.
"Los dispositivos anteriores inspirados en la retina solo mostraban respuestas ópticas y no podían almacenarlas de manera eficiente, lo que impedía los cálculos en el dominio del tiempo para objetivos en movimiento", dijo Zhou. "Los dispositivos retinomórficos todo en uno que propusimos tienen fotoconductividad bipolar positiva y negativa no volátil, lo que permite un procesamiento diferencial temporal sin precedentes y, por lo tanto, se puede aplicar tanto a objetivos en movimiento como a imágenes estáticas".
Los investigadores ya han utilizado su diseño para crear un prototipo del dispositivo retinomórfico. En el futuro, este dispositivo podría usarse para monitorear de forma remota una variedad de entornos o podría integrarse en robots para mejorar sus capacidades de detección y reconocimiento de movimiento.
"We have extended the functionality and applications of retina-inspired devices with 2D materials and provided prototype demonstrations for the integration of sensing, memory and computing," Zhou added. "We now plan to use the device we created as a model to build a hardware network system. At this stage, we are already working on exploring 2D system processes as well as constructing a test platform."
© 2021 Science X Network Development of an artificial vision device capable of mimicking human optical illusions
