El adagio de la era moderna "trabaja de forma más inteligente, no más difícil "enfatiza la importancia de no solo trabajar para producir, pero también haciendo un uso eficiente de los recursos.

Y no es algo que las supercomputadoras hagan bien todo el tiempo, especialmente cuando se trata de administrar grandes cantidades de datos.

Pero un equipo de investigadores del Departamento de Ciencias de la Computación de la Facultad de Ingeniería de Virginia Tech está ayudando a las supercomputadoras a trabajar de manera más eficiente de una manera novedosa, utilizando el aprendizaje automático para distribuir correctamente, o balance de carga, tareas de procesamiento de datos en los miles de servidores que componen una supercomputadora.

Al incorporar el aprendizaje automático para predecir no solo tareas, sino también tipos de tareas, Los investigadores encontraron que la carga en varios servidores se puede mantener equilibrada en todo el sistema. El equipo presentará su investigación en Río de Janeiro, Brasil, en el 33 ° Simposio internacional de procesamiento paralelo y distribuido el 22 de mayo, 2019.

Los sistemas de administración de datos actuales en supercomputación se basan en enfoques que asignan tareas de manera rotatoria a los servidores sin tener en cuenta el tipo de tarea o la cantidad de datos con los que cargará el servidor. Cuando la carga en los servidores no está equilibrada, los sistemas se atascan por los rezagados, y el rendimiento se degrada gravemente.

"Los sistemas de supercomputación son precursores de la competitividad estadounidense en la informática de alto rendimiento, "dijo Ali R. Butt, profesor de informática. "Son cruciales no solo para lograr avances científicos, sino también para mantener la eficacia de los sistemas que nos permiten llevar a cabo los negocios de nuestra vida cotidiana, desde el uso de servicios de transmisión para ver películas hasta el procesamiento de transacciones financieras en línea y la previsión de sistemas meteorológicos mediante modelos meteorológicos ".

Para implementar un sistema para utilizar el aprendizaje automático, el equipo construyó un novedoso plano de control de un extremo a otro que combinaba las fortalezas centradas en la aplicación de los enfoques del lado del cliente con las fortalezas centradas en el sistema de los enfoques del lado del servidor.

"Este estudio fue un gran paso en la gestión de sistemas de supercomputación. Lo que hicimos le dio a la supercomputación un impulso de rendimiento y demostró que estos sistemas se pueden administrar de manera inteligente y rentable a través del aprendizaje automático, "dijo Bharti Wadhwa, primer autor del artículo y un Ph.D. candidato en el Departamento de Ciencias de la Computación. "Les hemos dado a los usuarios la capacidad de diseñar sistemas sin incurrir en grandes costos".

La novedosa técnica le dio al equipo la capacidad de tener "ojos" para monitorear el sistema y permitió que el sistema de almacenamiento de datos aprendiera y prediga cuándo podrían llegar cargas más grandes o cuándo la carga se volvió demasiado grande para un servidor. El sistema también proporcionó información en tiempo real de una manera independiente de la aplicación, creando una visión global de lo que estaba sucediendo en el sistema. Anteriormente, los servidores no podían aprender y las aplicaciones de software no eran lo suficientemente ágiles como para personalizarse sin un rediseño importante.

"El algoritmo predijo las solicitudes futuras de aplicaciones a través de un modelo de serie temporal, "dijo Arnab K. Paul, segundo autor y Ph.D. candidato también en el Departamento de Ciencias de la Computación. "Esta capacidad de aprender de los datos nos brindó una oportunidad única de ver cómo podríamos realizar solicitudes futuras de manera equilibrada".

El sistema de extremo a extremo también permitió a los usuarios una capacidad sin precedentes de beneficiarse de la configuración de carga equilibrada sin cambiar el código fuente. En los sistemas de supercomputadoras tradicionales actuales, este es un procedimiento costoso, ya que requiere que se modifique la base del código de la aplicación.

"Fue un privilegio contribuir al campo de la supercomputación con este equipo, "dijo Sarah Neuwirth, investigador postdoctoral del Instituto de Ingeniería Informática de la Universidad de Heidelberg. "Para que la supercomputación evolucione y se enfrente a los desafíos de una sociedad del siglo XXI, tendremos que liderar esfuerzos internacionales como este. Mi propio trabajo con sistemas de supercomputación de uso común se benefició enormemente de este proyecto ".

El plano de control de un extremo a otro consistía en servidores de almacenamiento que publicaban su información de uso en el servidor de metadatos. Se utilizó un modelo de serie de tiempo de promedio móvil integrado autorregresivo para predecir solicitudes futuras con aproximadamente un 99 por ciento de precisión y se envió al servidor de metadatos para mapear a los servidores de almacenamiento utilizando un algoritmo de gráfico de flujo máximo de costo mínimo.