Un equipo de investigadores demostró que pueden recuperar un video de movimiento que tiene lugar en una escena oculta al observar cambios en la iluminación en una región visible cercana. Observaron el efecto indirecto sobre las sombras y el sombreado en una región observada.

Traducción:Jugar con las sombras para obtener información puede resultar muy gratificante. El equipo de investigadores creó un nuevo algoritmo de inteligencia artificial que puede ayudar a las cámaras a "ver" cosas fuera de cámara utilizando solo sombras en movimiento.

Su método puede reconstruir un video oculto basado en las sombras que arroja. El resultado es que puede estimar cómo se ve el video oculto.

Hillary Grigonis en Tendencias digitales escribió sobre su investigación con una comparación interesante, como "leer títeres de sombras al revés". ¿Cómo es eso? "... la computadora ve la sombra en forma de conejo y luego puede crear una estimación del objeto que creó esa sombra. La computadora no sabe qué es ese objeto, pero puede proporcionar un bosquejo aproximado de la forma ".

Empezando, estaban interesados ​​en resolver el problema de la actividad que se desarrolla fuera de su campo de visión.

Hay más información en la página web del proyecto MIT CSAIL (Laboratorio de Ciencias de la Computación e Inteligencia Artificial) en compmirrors.csail.mit.edu y en GitHub.

Los autores consideraron el valor de su investigación:"Hemos demostrado que las escenas desordenadas se pueden convertir computacionalmente en espejos de baja resolución sin una calibración previa". Con solo una entrada de video de la escena visible, pudieron recuperar un video latente de la escena oculta así como una matriz de transporte de luz.

"Lo encontramos extraordinario, " ellos dijeron, "que simplemente pedir factores latentes que puedan ser expresados ​​fácilmente por una CNN [red neuronal convolucional] es suficiente para resolver nuestro problema, permitiéndonos evitar por completo desafíos como la estimación de la geometría y las propiedades de reflectancia de la escena ".

Publicado el 6 de diciembre su video se titula "Espejos computacionales:revelando videos ocultos". Michael Zhang en PetaPixel resumió lo que hicieron en el video. "Los científicos de CSAIL del MIT comparten cómo apuntaron una cámara a una pila de objetos y luego filmaron las sombras creadas en esos objetos por una persona que se movía fuera de la cámara".

Los subtítulos del video señalaron además que su método también puede reconstruir la silueta de una actuación en vivo a partir de sus sombras. Los resultados al menos cubren el color y el movimiento. Zhang evaluó lo que pudieron hacer. "La IA analizó las sombras y pudo reconstruir un video borroso pero sorprendentemente preciso de lo que la persona estaba haciendo con sus manos".

¿Aplicaciones potenciales? Notas de video:"Con mayor precisión, este método podría permitir que los vehículos autónomos detecten obstáculos ocultos.

Rachel Gordon, MIT CSAIL, habló de otras posibilidades:centros de atención a personas mayores que velan por la seguridad de sus residentes; Los equipos de búsqueda y rescate hacen uso de esto cuando tienen que navegar por áreas peligrosas y obstruidas.

Considerándolo todo, los investigadores han tomado un camino interesante hacia la captación de información más allá de la línea de visión, pero otros en el MIT en cierto sentido han estado allí, hecho eso. Las escenas fuera de una línea de visión normal fueron el foco de los investigadores del MIT hace siete años, dijo Gordon de CSAIL, y luego utilizaron láseres para producir imágenes en 3-D.

En el último esfuerzo de investigación, sin embargo, el equipo quería ver lo que podían lograr sin ningún equipo especial. Gordon citó al investigador principal sobre esto. Miika Aittala, quien dijo, "Puede lograr bastante con equipos de imágenes sin línea de visión, como láseres, pero en nuestro enfoque solo tienes acceso a la luz que llega naturalmente a la cámara, y trata de aprovechar al máximo la escasa información que contiene ".

Piense en descifrar. El desafío era descifrar y dar sentido a estas señales de iluminación. Piense en el algoritmo. Gordon escribió que el equipo se centró en romper la ambigüedad especificando algorítmicamente que querían un patrón de 'codificación' que se corresponda con el sombreado y el sombreado plausibles del mundo real, para descubrir el video oculto que parece tener bordes y objetos que se mueven de manera coherente.

Explicó que su algoritmo entrena dos redes neuronales simultáneamente. "Una red produce el patrón de codificación, y el otro estima el video oculto. Las redes se ven recompensadas cuando la combinación de estos dos factores reproduce el video grabado desde el desorden, llevándolos a explicar las observaciones con datos ocultos plausibles ".

Su artículo que analiza su trabajo se llama "Espejos computacionales:Transporte de luz inverso ciego por factorización de matriz profunda, "y está en arXiv. Los autores son Miika Aittala, Prafull Sharma, Lukas Murmann, Adam Yedidia, Gregory Wornell, William T. Freeman y Frédo Durand.

Los informes dijeron que presentarían su trabajo en la Conferencia sobre sistemas de procesamiento de información neuronal (NeurIPS 2019) en Vancouver, Columbia Británica.

© 2019 Science X Network