Aprendizaje automático, una forma de inteligencia artificial, disfruta de un éxito sin precedentes en aplicaciones comerciales. Sin embargo, el uso del aprendizaje automático en la informática de alto rendimiento para la ciencia ha sido limitado. ¿Por qué? Las herramientas avanzadas de aprendizaje automático no se diseñaron para grandes conjuntos de datos, como los que se utilizan para estudiar estrellas y planetas. Un equipo de Intel, Centro Nacional de Computación Científica de Investigación en Energía (NERSC), y Stanford cambió esa situación. Desarrollaron el primer software de aprendizaje profundo de 15 petaflop. Demostraron su capacidad para manejar grandes conjuntos de datos mediante pruebas en la supercomputadora Cori.

Usando técnicas de aprendizaje automático en supercomputadoras, los científicos podrían extraer conocimientos de grandes conjuntos de datos complejos. Poderosos instrumentos, como aceleradores, producir conjuntos de datos masivos. El nuevo software podría hacer que las supercomputadoras más grandes del mundo puedan adaptar esos datos a usos de aprendizaje profundo. Los conocimientos resultantes podrían beneficiar el modelado de sistemas terrestres, energía de fusión, y astrofísica.

Las técnicas de aprendizaje automático tienen potencial para permitir a los científicos extraer información valiosa de grandes conjuntos de datos complejos producidos por aceleradores, fuentes de luz, telescopios, y simulaciones por computadora. Si bien estas técnicas han tenido un gran éxito en una variedad de aplicaciones comerciales, su uso en la informática de alto rendimiento para la ciencia ha sido limitado porque las herramientas existentes no fueron diseñadas para trabajar con los conjuntos de datos del tamaño de un terabyte a un petabyte que se encuentran en muchos dominios científicos.

Para abordar este problema, una colaboración entre Intel, el Centro Nacional de Computación Científica de Investigación en Energía, y la Universidad de Stanford ha estado trabajando para resolver los problemas que surgen cuando se utilizan técnicas de aprendizaje profundo, una forma de aprendizaje automático, en conjuntos de datos de terabytes y petabytes. El equipo desarrolló el primer software de aprendizaje profundo de 15 petaflop. Demostraron su escalabilidad para aplicaciones con uso intensivo de datos mediante la ejecución de una serie de ejecuciones de entrenamiento utilizando grandes conjuntos de datos científicos. Las ejecuciones utilizaron conjuntos de datos basados ​​en la física y el clima en Cori, una supercomputadora ubicada en el Centro Nacional de Computación Científica de Investigación en Energía. Alcanzaron una tasa máxima de entre 11,73 y 15,07 petaflops (precisión simple) y un rendimiento medio sostenido de 11,41 a 13,47 petaflops. (Un petaflop es un millón de billones de cálculos por segundo).