Las descripciones de las células cerebrales en los libros de texto hacen que las neuronas parezcan simples:un axón central largo en forma de espina dorsal con dendritas ramificadas. Tomado individualmente, estos pueden ser fáciles de identificar y mapear, pero en un cerebro real, son más como un montón de pulpos nudosos, con cientos de miembros entrelazados. Esto hace que comprender cómo se comportan e interactúan sea un desafío importante para los neurocientíficos.

Una forma en que los investigadores desenredan nuestro revoltijo neuronal es a través de imágenes microscópicas. Al tomar fotografías de capas muy delgadas de un cerebro y reconstruirlas en forma tridimensional, es posible determinar dónde están las estructuras y cómo se relacionan.

Pero esto trae sus propios desafíos. Obtener imágenes de alta resolución, y capturarlos rápidamente para cubrir una sección razonable del cerebro, es una tarea importante.

Parte del problema radica en las compensaciones y compromisos con los que cualquier fotógrafo está familiarizado. Abra la apertura el tiempo suficiente para dejar entrar mucha luz y cualquier movimiento provocará un desenfoque; tome una imagen rápida para evitar borrosidad y el sujeto puede volverse oscuro.

Pero otros problemas son específicos de los métodos utilizados en la reconstrucción del cerebro. Para uno, la obtención de imágenes cerebrales de alta resolución lleva muchísimo tiempo. Por otro, en la técnica ampliamente utilizada llamada microscopía electrónica de cara de bloque en serie, se corta un trozo de tejido en un bloque, la superficie tiene una imagen, se corta una sección delgada y se vuelve a tomar la imagen del bloque; el proceso se repite hasta su finalización. Sin embargo, el haz de electrones que crea las imágenes microscópicas puede hacer que la muestra se derrita, distorsionando el sujeto que está tratando de capturar.

Mansión Uri, director de Waitt Advanced Biophotonics Core Facility en el Instituto Salk de Estudios Biológicos en San Diego, es responsable de ejecutar numerosos microscopios de alta potencia utilizados por investigadores en todo el país. También tiene la tarea de identificar e implementar nuevos microscopios y desarrollar soluciones que puedan abordar los problemas con los que luchan las tecnologías de hoy.

"Si alguien viene con un problema y nuestros instrumentos no pueden resolverlo, o no podemos encontrar uno que pueda, es mi trabajo desarrollar esa capacidad, "Dijo Manor.

Consciente de los problemas de imágenes que enfrentan los neurocientíficos, decidió que era necesario un nuevo enfoque. Si hubiera alcanzado los límites físicos de la microscopía, Manor razonó, tal vez un mejor software y algoritmos podrían proporcionar una solución.

"Hay enfoques matemáticos y computacionales sofisticados que se han estudiado durante décadas para eliminar el ruido sin eliminar la señal, "Manor dijo." Ahí fue donde comencé ".

Trabajando con Linjing Fang, un especialista en análisis de imágenes en Salk, idearon una estrategia para utilizar GPU (unidades de procesamiento de gráficos) para acelerar el procesamiento de imágenes microscópicas.

Comenzaron con un truco de procesamiento de imágenes llamado deconvolución que había sido desarrollado en parte por John Sedat, uno de los héroes científicos de Manor y mentor en Salk. El enfoque fue utilizado por astrónomos que querían resolver imágenes de estrellas y planetas con mayor resolución de la que podían lograr directamente con telescopios.

"Si conoce las propiedades ópticas de su sistema, luego, puede eliminar el desenfoque de sus imágenes y obtener el doble de resolución que el original, " él explicó.

Creían que el aprendizaje profundo, una forma de aprendizaje automático que utiliza múltiples capas de análisis para extraer progresivamente características de nivel superior a partir de la entrada sin procesar, podría ser muy útil para aumentar la resolución de las imágenes microscópicas. un proceso llamado superresolución.

Resonancias magnéticas, imágenes de satélite, y las fotografías habían servido como casos de prueba para desarrollar el aprendizaje profundo, enfoques de superresolución, pero se había hecho muy poco en microscopía. Quizás, Manor pensó, lo mismo podría hacerse con microscopía.

El primer paso para entrenar un sistema de aprendizaje profundo implica encontrar un gran corpus de datos. Para esto, Manor se asoció con Kristen Harris, profesor de neurociencia en la Universidad de Texas en Austin y uno de los principales expertos en microscopía cerebral.

"Sus protocolos se utilizan en todo el mundo. Ella estaba haciendo ciencia abierta antes de que fuera genial, ", Dijo Manor." Obtiene imágenes increíblemente detalladas y ha estado colaborando con Salk durante varios años ".

Harris le ofreció a Manor todos los datos que necesitaba para el entrenamiento. Luego, utilizando la supercomputadora Maverick en el Centro de Computación Avanzada de Texas (TACC) y varios días de computación continua, Creó análogos de baja resolución de las imágenes de microscopio de alta resolución y entrenó una red de aprendizaje profundo en esos pares de imágenes.

"TACC ha sido increíblemente útil, ", Dijo Manor." Nos proporcionaron hardware para hacer el entrenamiento antes de que se nos cayera el cabello y nos proporcionaron experiencia computacional e incluso ayudaron a ejecutar experimentos computacionales para afinar nuestro proceso ".

Desafortunadamente, Los primeros intentos de Manor de crear versiones de superresolución de imágenes de baja resolución no tuvieron éxito. "Cuando intentamos probar el sistema en datos de baja resolución del mundo real que eran mucho más ruidosos que nuestros datos de entrenamiento de baja resolución, la red no funcionó tan bien ".

Manor tuvo otro golpe de suerte cuando Jeremy Howard, fundador de fast.ai, y Fred Monroe, de la Iniciativa de Investigación Médica de Wicklow AI (WAMRI.ai), llegó a Salk en busca de problemas de investigación que pudieran beneficiarse del aprendizaje profundo.

"Estaban entusiasmados con lo que estábamos haciendo. Era una aplicación perfecta para sus métodos de aprendizaje profundo y su deseo de ayudar a llevar el aprendizaje profundo a nuevos dominios". "Manor recordó." Empezamos a usar algunos de sus trucos que ellos habían establecido, incluida la mierda ".

En el momento de su reunión, Manor y Fang habían estado disminuyendo computacionalmente la resolución de sus imágenes para los pares de entrenamiento, pero todavía no eran lo suficientemente malos. También estaban usando un tipo de arquitectura de aprendizaje profundo llamada redes generativas adversarias (GAN).

"Ellos sugirieron agregar más ruido computacionalmente, ", recordó." Ponga un poco de desenfoque y diferentes tipos de ruido, hacer que las imágenes sean realmente horribles '. Habían construido una biblioteca de caca y nosotros cacabamos nuestras imágenes hasta que se parecía mucho más a, o incluso peor que, cómo se ve cuando adquiere una imagen de baja resolución en el mundo. También nos ayudaron a cambiar de GAN a arquitecturas U-Net, que son mucho más fáciles de entrenar y mejores para eliminar el ruido ".

Manor volvió a entrenar su sistema de inteligencia artificial utilizando los nuevos pares de imágenes y la arquitectura de aprendizaje profundo y descubrió que podía crear imágenes de alta resolución que eran muy similares a las que se habían creado originalmente con mayor aumento. Es más, expertos capacitados pudieron encontrar características de las células cerebrales en versiones descifradas de las muestras de baja resolución que no se pudieron detectar en los originales.

Finalmente, Pusieron su sistema a prueba real:aplicando el método a imágenes creadas en otros laboratorios con diferentes microscopios y preparaciones.

"Por lo general, en el aprendizaje profundo, tienes que volver a entrenar y ajustar el modelo para diferentes conjuntos de datos, ", Dijo Manor." Pero estábamos encantados de que nuestro sistema funcionara tan bien para una amplia gama de conjuntos de imágenes y muestras ".

El éxito significó que se podían tomar imágenes de las muestras sin riesgo de daño, y que podrían obtenerse al menos 16 veces más rápido que tradicionalmente.

"Obtener imágenes de todo el cerebro a máxima resolución podría llevar más de cien años, "Manor explicó." Con un aumento de 16 veces en todo, tal vez se convierta en 10 años, que es mucho más práctico ".

El equipo publicó sus resultados en Biorxiv, los presentó en la F8 Facebook Developer Conference y el 2do Taller NSF NeuroNex 3DEM, y puso el código a disposición a través de GitHub.

"Este enfoque no solo funciona. Nuestro modelo de capacitación se puede utilizar de inmediato, "Manor dijo." Es extremadamente rápido y fácil. Y cualquier persona que desee utilizar esta herramienta pronto podrá iniciar sesión en 3DEM.org [una plataforma de investigación basada en la web centrada en el desarrollo y la difusión de nuevas tecnologías para microscopía electrónica tridimensional de resolución mejorada, con el apoyo de la National Science Foundation] y ejecutar sus datos a través de él ".

"Uri realmente fomenta esta idea de mejora de la imagen a través del aprendizaje profundo, "Dijo Harris." En última instancia, Esperamos no tener imágenes de mierda. Pero ahora mismo, muchas de las imágenes tienen este problema, por lo que habrá lugares en los que desee rellenar los huecos en función de lo que esté presente en las secciones adyacentes ".

Manor espera desarrollar software que pueda realizar reconstrucciones sobre la marcha, para que los investigadores puedan ver imágenes de súper resolución de inmediato, en lugar de posprocesamiento. También ve el potencial para mejorar el rendimiento de los millones de microscopios que ya existen en los laboratorios de todo el mundo y para construir un microscopio nuevo desde cero que aproveche las capacidades de IA.

"Menos costoso, resolución más alta, más rápido, hay muchas áreas en las que podemos mejorar ".

Con una prueba de concepto en su lugar, Manor y su equipo han desarrollado una herramienta que permitirá avances en la neurociencia. Pero sin colaboraciones fortuitas con Kristen Harris, Howard y Monroe y TACC, puede que nunca se haya materializado.

"Es un hermoso ejemplo de cómo realmente hacer avances en la ciencia. Es necesario tener expertos abiertos a trabajar junto con personas de cualquier lugar del mundo en el que se encuentren para hacer que algo suceda". ", Dijo Manor." Me siento muy afortunado de haber estado en una posición en la que pude interactuar con todos estos compañeros de equipo de clase mundial ".