Pequeñas imperfecciones en una copa de vino o pequeños pliegues en una lente de contacto pueden ser difíciles de distinguir. incluso con buena luz. En una oscuridad casi total las imágenes de objetos u objetos tan transparentes son casi imposibles de descifrar. Pero ahora, Los ingenieros del MIT han desarrollado una técnica que puede revelar estos objetos "invisibles", en la oscuridad.

En un estudio publicado hoy en Cartas de revisión física , los investigadores reconstruyeron objetos transparentes a partir de imágenes de esos objetos, tomado en condiciones casi oscuras. Lo hicieron mediante una "red neuronal profunda, "una técnica de aprendizaje automático que implica entrenar una computadora para asociar ciertas entradas con salidas específicas; en este caso, oscuro, imágenes granuladas de objetos transparentes y los propios objetos.

El equipo entrenó una computadora para reconocer más de 10, 000 grabados transparentes similares al vidrio, basado en imágenes extremadamente granuladas de esos patrones. Las imágenes fueron tomadas en condiciones de muy poca luz, con aproximadamente un fotón por píxel, mucha menos luz de la que registraría una cámara en una oscuridad, habitación sellada. Luego le mostraron a la computadora una nueva imagen granulada, no incluido en los datos de entrenamiento, y descubrió que aprendió a reconstruir el objeto transparente que la oscuridad había oscurecido.

Los resultados demuestran que las redes neuronales profundas pueden usarse para iluminar características transparentes como tejidos y células biológicas, en imágenes tomadas con muy poca luz.

"En el laboratorio, si destruyes las células biológicas con luz, los quemas, y no queda nada para imaginar, "dice George Barbastathis, profesor de ingeniería mecánica en el MIT. "Cuando se trata de imágenes de rayos X, si expone a un paciente a rayos X, aumenta el peligro de que puedan contraer cáncer. Lo que estamos haciendo aquí es puede obtener la misma calidad de imagen, pero con una menor exposición al paciente. Y en biología puede reducir el daño a las muestras biológicas cuando desee tomar muestras ".

Los coautores de Barbastathis en el artículo son el autor principal Alexandre Goy, Kwabena Arthur, y Shuai Li.

Aprendizaje profundo y oscuro

Las redes neuronales son esquemas computacionales que están diseñados para emular libremente la forma en que las neuronas del cerebro trabajan juntas para procesar entradas de datos complejas. Una red neuronal funciona realizando sucesivas "capas" de manipulaciones matemáticas. Cada capa computacional calcula la probabilidad de una salida dada, basado en una entrada inicial. Por ejemplo, dada una imagen de un perro, una red neuronal puede identificar características que recuerdan primero a un animal, luego, más específicamente, un perro, y ultimamente, un beagle. Una red neuronal "profunda" abarca muchos, capas de cálculo mucho más detalladas entre la entrada y la salida.

Un investigador puede "entrenar" una red de este tipo para realizar cálculos de forma más rápida y precisa, alimentándolo con cientos o miles de imágenes, no solo de perros, pero otros animales, objetos, y gente, junto con la etiqueta correcta para cada imagen. Teniendo suficientes datos de los que aprender, la red neuronal debería poder clasificar correctamente imágenes completamente nuevas.

Las redes neuronales profundas se han aplicado ampliamente en el campo de la visión por computadora y el reconocimiento de imágenes, y recientemente, Barbastathis y otros desarrollaron redes neuronales para reconstruir objetos transparentes en imágenes tomadas con mucha luz. Ahora su equipo es el primero en utilizar redes neuronales profundas en experimentos para revelar objetos invisibles en imágenes tomadas en la oscuridad.

"Los objetos invisibles se pueden revelar de diferentes formas, pero por lo general requiere que uses mucha luz, "Dice Barbastathis." Lo que estamos haciendo ahora es visualizar los objetos invisibles, en la oscuridad. Entonces es como dos dificultades combinadas. Y, sin embargo, todavía podemos hacer la misma cantidad de revelación ".

La ley de la luz

El equipo consultó una base de datos de 10, 000 circuitos integrados (IC), cada uno de los cuales está grabado con un patrón intrincado diferente de barras horizontales y verticales.

"Cuando miramos a simple vista, no vemos mucho, cada uno parece un trozo de vidrio transparente, "Dice Goy." Pero en realidad hay estructuras muy finas y poco profundas que todavía tienen un efecto sobre la luz ".

En lugar de grabar cada uno de los 10, 000 patrones en tantos portaobjetos de vidrio, los investigadores utilizaron un "modulador de luz espacial de fase, "un instrumento que muestra el patrón en un solo portaobjetos de vidrio de una manera que recrea el mismo efecto óptico que tendría un portaobjetos grabado real.

Los investigadores establecieron un experimento en el que apuntaron con una cámara a un pequeño marco de aluminio que contenía el modulador de luz. Luego usaron el dispositivo para reproducir cada uno de los 10, 000 patrones de IC de la base de datos. Los investigadores cubrieron todo el experimento para que estuviera protegido de la luz, y luego usó el modulador de luz para rotar rápidamente a través de cada patrón, de forma similar a un carrusel de diapositivas. Tomaron imágenes de cada patrón transparente, en una oscuridad casi total, produciendo imágenes de "sal y pimienta" que parecían poco más que estáticas en una pantalla de televisión.

El equipo desarrolló una red neuronal profunda para identificar patrones transparentes a partir de imágenes oscuras, luego alimentó la red cada uno de los 10, 000 fotografías granuladas tomadas por la cámara, junto con sus patrones correspondientes, o lo que los investigadores llamaron "verdades fundamentales".

"Dile a la computadora, 'Si pongo esto, saca esto, ", Dice Goy." Haz esto 10, 000 veces, y despues del entrenamiento, esperas que si le das una nueva entrada, puede decirte lo que ve ".

"Es un poco peor que un bebé, "Barbastathis bromea." Por lo general, los bebés aprenden un poco más rápido ".

Los investigadores configuraron su cámara para tomar imágenes ligeramente desenfocadas. Por contradictorio que parezca, esto realmente funciona para enfocar un objeto transparente. O, más precisamente, desenfocar proporciona alguna evidencia, en forma de ondas en la luz detectada, que un objeto transparente puede estar presente. Estas ondas son una señal visual que una red neuronal puede detectar como primer signo de que un objeto está en algún lugar del granulado de una imagen.

Pero desenfocar también crea borrosidad, que puede enturbiar los cálculos de una red neuronal. Para lidiar con esto, los investigadores incorporaron a la red neuronal una ley de la física que describe el comportamiento de la luz, y cómo crea un efecto de desenfoque cuando una cámara está desenfocada.

"Lo que sabemos es la ley física de la propagación de la luz entre la muestra y la cámara, "Barbastathis dice." Es mejor incluir este conocimiento en el modelo, para que la red neuronal no pierda el tiempo aprendiendo algo que ya sabemos ".

Imagen más nítida

Después de entrenar la red neuronal en 10, 000 imágenes de diferentes patrones de IC, el equipo creó un patrón completamente nuevo, no incluido en el conjunto de entrenamiento original. Cuando tomaron una imagen del patrón, de nuevo en la oscuridad, e introdujo esta imagen en la red neuronal, compararon los patrones que reconstruyó la red neuronal, tanto con como sin la ley física incrustada en la red.

Descubrieron que ambos métodos reconstruían el patrón transparente original razonablemente bien, pero la "reconstrucción informada por la física" produjo una imagen más precisa. Y lo que es más, este patrón reconstruido, a partir de una imagen tomada en una oscuridad casi total, estaba más definido que una reconstrucción basada en la física del mismo patrón, fotografiado con luz que era más de 1, 000 veces más brillante.

El equipo repitió sus experimentos con un conjunto de datos totalmente nuevo, que consta de más de 10, 000 imágenes de objetos más generales y variados, incluyendo personas, lugares, y animales. Después de entrenar, los investigadores alimentaron la red neuronal con una imagen completamente nueva, tomado en la oscuridad, de un grabado transparente de una escena con góndolas atracadas en un muelle. De nuevo, encontraron que la reconstrucción basada en la física producía una imagen más precisa del original, en comparación con las reproducciones sin la ley física incrustada.

"Hemos demostrado que el aprendizaje profundo puede revelar objetos invisibles en la oscuridad, ", Dice Goy." Este resultado es de importancia práctica para que las imágenes médicas reduzcan la exposición del paciente a la radiación dañina, y para imágenes astronómicas ".

Esta historia se vuelve a publicar por cortesía de MIT News (web.mit.edu/newsoffice/), un sitio popular que cubre noticias sobre la investigación del MIT, innovación y docencia.