El papel del aprendizaje profundo en la ciencia se encuentra en un punto de inflexión, con el clima, clima, y el modelado de sistemas terrestres emerge como un área de aplicación interesante para el aprendizaje profundo basado en la física que puede identificar de manera más efectiva relaciones no lineales en grandes conjuntos de datos, extraer patrones, emular procesos físicos complejos, y construir modelos predictivos.

"El aprendizaje profundo ha tenido un éxito sin precedentes en algunos problemas muy desafiantes, pero los científicos quieren comprender exactamente cómo funcionan estos modelos y por qué hacen las cosas que hacen, "dijo Karthik Kashinath, un científico informático e ingeniero en el Grupo de Servicios de Datos y Análisis (DAS) en el Centro Nacional de Computación Científica de Investigación Energética (NERSC) que ha estado profundamente involucrado en los esfuerzos de investigación y educación de NERSC en esta área. "Un objetivo clave del aprendizaje profundo para la ciencia es cómo diseñar y entrenar una red neuronal para que pueda capturar con precisión la complejidad de los procesos que busca modelar, emular, o predecir, y estamos desarrollando formas de infundir la física y el conocimiento del dominio en estas redes neuronales para que obedezcan las leyes de la naturaleza y sus resultados sean explicables. robusto, y digno de confianza ".

Nos pusimos al día con Kashinath después de la Escuela de Verano de Inteligencia Artificial para Ciencias del Sistema Terrestre (AI4ESS), un evento virtual de una semana de duración organizado en junio por el Centro Nacional de Investigación Atmosférica (NCAR) y la Corporación Universitaria para la Investigación Atmosférica (UCAR) al que asistieron más de 2, 400 investigadores de todo el mundo. Kashinath participó en la organización y presentación del evento, junto con David John Gagne y Rich Loft de NCAR. Gran parte de la investigación actual de Kashinath se centra en la aplicación de métodos de aprendizaje profundo al modelado de sistemas climáticos y terrestres.

¿Cómo se están adoptando las metodologías de aprendizaje profundo en el clima, clima, y la investigación de los sistemas terrestres?

En los últimos años, hemos visto un aumento significativo en el uso del aprendizaje profundo en la ciencia, no solo en aumentar, mejorar o reemplazar los métodos existentes, sino también para descubrir nuevas ciencias en física, química, biología, medicamento, y más:descubrimientos que eran casi imposibles con los métodos estadísticos tradicionales. Ahora estamos empezando a ver lo mismo en las ciencias de la Tierra, con el número de publicaciones en revistas como Cartas de investigación geofísica y Naturaleza Geociencia conferencias científicas y emergentes que ahora incluyen pistas completas relacionadas con el aprendizaje profundo y automático.

¿Qué aporta el aprendizaje profundo a la mesa?

Es extremadamente poderoso en el reconocimiento de patrones y en el descubrimiento de relaciones no lineales muy complejas que existen en grandes conjuntos de datos, ambos son fundamentales para desarrollar modelos de sistemas de ciencias de la Tierra. El objetivo clave de un modelador meteorológico o climático es comprender las formas en que operan los procesos en la naturaleza y modelarlos de manera efectiva para que podamos predecir el futuro del cambio climático y los eventos climáticos extremos. El aprendizaje profundo ofrece nuevos métodos para usar datos existentes para comprender cómo operan estos procesos y desarrollar modelos para ellos que no solo sean precisos y efectivos, sino también computacionalmente mucho más rápidos que los métodos tradicionales. Tradicionalmente, Los modelos climáticos y meteorológicos resuelven grandes sistemas de ecuaciones diferenciales parciales no lineales acopladas, que es extremadamente intensivo en computación. El aprendizaje profundo está comenzando a aumentar, mejorar, o incluso reemplazar partes de estos modelos con emuladores de procesos físicos muy eficientes y rápidos. Y ese es un importante paso adelante.

El reconocimiento de patrones es otra área en la que el aprendizaje profundo está influyendo en la investigación de los sistemas terrestres. El grupo DAS en NERSC ha estado presionando mucho en el reconocimiento de patrones para detectar y rastrear patrones meteorológicos y climáticos en grandes conjuntos de datos. El premio Gordon Bell 2018 por análisis del clima a exaescala que utiliza el aprendizaje profundo da testimonio de nuestras contribuciones en esa área. Dado que ya tenemos petabytes de datos climáticos y que están aumentando a un ritmo loco, Es físicamente imposible examinar y reconocer las características y patrones clave utilizando enfoques estadísticos tradicionales. El aprendizaje profundo ofrece formas muy rápidas de extraer esos datos y extraer información útil, como patrones climáticos extremos.

Una tercera área es la reducción de escala; es decir, dado un conjunto de datos de baja resolución, ¿Cómo se producen datos de muy alta resolución que son necesarios para cosas como la planificación, especialmente a escala regional y local? Parte del gran desafío de la ciencia climática es cómo construir modelos de muy alta resolución que sean precisos y produzcan datos con los que podamos trabajar de manera confiable. Una forma de atacar el problema es decir está bien, sabemos que estos modelos son extremadamente caros, y en el futuro previsible, incluso con la informática cada vez más rápida y mejor, realmente no podremos construir modelos climáticos globales confiables con una resolución espacial de 1 km o más fina. Entonces, si podemos crear un modelo de aprendizaje profundo que tome datos climáticos de baja resolución y produzca datos de alta resolución que sean físicamente significativos, de confianza, y precisa, eso es un cambio de juego.

¿Cuál es un gran desafío para el aprendizaje profundo aplicado a la ciencia del sistema terrestre?

Vengo de experiencia en dinámica de fluidos, donde modelar turbulencias es un gran desafío desde hace mucho tiempo. Un desafío similar en las ciencias atmosféricas es el modelado de nubes. Todos los modelos climáticos tienen parametrizaciones, componentes en el modelo climático que describen cómo se comportan e interactúan varios procesos físicos entre sí. En la atmósfera que incluye cómo se forman las nubes, cómo funciona la radiación, cuándo y dónde ocurre la precipitación, etc. También se sabe que el modelado de nubes es la mayor fuente de incertidumbre en las proyecciones de modelos climáticos, y durante décadas uno de los grandes desafíos ha sido cómo reducir la incertidumbre. Los modelos se han vuelto mucho más complejos y capturan muchos más fenómenos físicos, pero todavía tienen grandes incertidumbres en sus predicciones. Entonces, un área donde el aprendizaje profundo podría tener un impacto significativo es ayudarnos a construir mejores emuladores de procesos atmosféricos como las nubes, con el objetivo de reducir las incertidumbres en las predicciones. Ese es un objetivo científico muy concreto.

Mientras miras hacia adelante ¿Qué es lo que más le entusiasma en términos del impacto del aprendizaje profundo en la investigación del clima y los sistemas terrestres?

El mayor rechazo que hemos tenido de la comunidad científica es que las redes neuronales son cajas negras difíciles de entender e interpretar. ya los científicos, obviamente, les gustaría entender exactamente cómo funcionan estas redes neuronales y por qué hacen las cosas que hacen. Entonces, una cosa que realmente me entusiasma es desarrollar mejores formas de interpretar y comprender estas redes e incorporar el conocimiento que tenemos sobre la física del sistema de la Tierra en estos modelos para que sean más robustos, de confianza, digno de confianza, interpretable, explicable, y transparente. El objetivo es convencernos de que estos modelos se comportan de forma que respetan la física de la naturaleza, estamos utilizando de forma eficaz el conocimiento del dominio que tenemos, y estamos haciendo predicciones en las que podemos confiar. Me invitaron a enviar un artículo a Actas de la Royal Society exactamente sobre este tema, "Aprendizaje profundo basado en la física para el modelado meteorológico y climático, "que ahora está bajo revisión.

También estoy emocionado por demostrar, en la operación, que estos modelos de aprendizaje profundo proporcionan la aceleración computacional que afirmamos que proporcionarán cuando los integremos en un gran modelo climático o meteorológico. Por ejemplo, el Centro Europeo de Previsión Meteorológica ha comenzado a reemplazar algunas partes de su modelo de previsión meteorológica con modelos de aprendizaje profundo y de máquina, y ya están comenzando a ver beneficios. En los EE.UU., NCAR y la Administración Nacional Oceánica y Atmosférica también están comenzando a reemplazar partes de sus modelos climáticos y meteorológicos con modelos de aprendizaje automático y aprendizaje profundo, y varios grupos de investigación académicos y de la industria están trabajando en proyectos relacionados. Chris Bretherton, uno de los científicos climáticos más importantes del mundo, encabeza un grupo en la Universidad de Washington que está trabajando para reemplazar algunos de los complicados procesos de la nube en estos grandes modelos climáticos con métodos de aprendizaje profundo. Así que espero ver sus resultados dentro de uno o dos años en cuanto a aceleración y rendimiento.

¿Cuál fue el enfoque del evento AI4ESS? y ¿por qué fue tan concurrida?

La Escuela de Verano de Inteligencia Artificial para la Ciencia del Sistema Terrestre (AI4ESS) se centró en cómo los asistentes pueden fortalecer su experiencia en estadísticas y aprendizaje automático, aprender los fundamentos del aprendizaje profundo y las redes neuronales, y aprenda a utilizarlos para resolver problemas desafiantes en las ciencias del sistema terrestre. Tuvimos una respuesta abrumadora a la escuela:se suponía que sería un evento en persona en Boulder, Colo., con capacidad para 80 alumnos. Pero una vez que se volvió virtual, teníamos 2, 400 asistentes de 40 países de todo el mundo. Se transmitió en vivo a través de UCAR y realizaron un seguimiento de los inicios de sesión diarios.

Hubo una gran participación durante toda la semana. Habíamos invitado a ponentes todos los días:tres conferencias al día, 15 conferencias durante la semana, con expertos en aprendizaje automático, aprendizaje profundo, y las ciencias de la Tierra. Cada día también hubo un panel de discusión durante 30 minutos durante el almuerzo, y para mí, Estos fueron muy emocionantes porque todos estos expertos estaban discutiendo y debatiendo sobre los desafíos y oportunidades de usar el aprendizaje automático y el aprendizaje profundo para la ciencia del sistema terrestre. La escuela también llevó a cabo un hackathon de una semana, donde equipos de seis cada uno eligieron un proyecto de seis problemas diferentes para trabajar durante la semana. Cerca de 500 personas participaron en el hackathon, con mucha colaboración e interacción, incluidos los canales de Slack individuales para cada uno de los equipos de hackathon. También hubo canales de Slack durante toda la semana de la escuela de verano sobre varias cosas:preguntas y respuestas relacionadas con conferencias, problemas del desafío del hackathon, trucos y consejos técnicos sobre aprendizaje automático y aprendizaje profundo, etc. Así que hubo mucha actividad en Slack, con personas intercambiando ideas, compartir resultados, Etcétera.

¿Por qué todo el mundo está tan interesado en aprender estas cosas?

Creo que la comunidad especialmente los científicos más jóvenes, ven que el aprendizaje profundo puede cambiar las reglas del juego en la ciencia y no quieren quedarse atrás. Creen que pronto se generalizará y que será esencial para hacer ciencia. Ese es el principal motivador. Por lo tanto, AI4ESS se centró en enseñar los fundamentos y sentar las bases para que comiencen a aplicar el aprendizaje profundo y automático con éxito en su investigación.