Los investigadores de todo el espectro científico anhelan datos, ya que es esencial para comprender el mundo natural y, por extensión, acelerar el progreso científico. Últimamente, sin embargo, las herramientas del esfuerzo científico se han vuelto tan poderosas que la cantidad de datos obtenidos de experimentos y observaciones a menudo es difícil de manejar.

En otras palabras, es posible tener demasiado de algo bueno.

Dar sentido a los crecientes conjuntos de datos de hoy se ha convertido en un gran desafío científico por derecho propio, obligando a los investigadores no solo a abordar sus problemas de ciencia de dominio, sino también el problema de administrar y procesar sus conjuntos de datos en constante crecimiento. Pregúntele a los investigadores de BP, que tienen la tarea de encontrar gas natural y petróleo en el suelo y descubrir la mejor manera de extraerlo.

"Las nuevas tecnologías en el campo nos permiten recopilar más datos de los que jamás soñamos, "dijo Vladimir Bashkardin, científico computacional de BP HPC, haciendo referencia a las propiedades de los fluidos subsuperficiales y las rocas obtenidas a través de las respuestas energéticas al sondeo de la empresa. "Necesitamos ampliar nuestra capacidad para acceder a grandes conjuntos de datos sísmicos, que puede medir medio petabyte a veces ".

Para ayudarlos en este esfuerzo monumental, Bashkardin y sus colegas acudieron al Laboratorio Nacional de Oak Ridge del Departamento de Energía, hogar de Summit, la computadora más poderosa e "más inteligente" del mundo, y una gran experiencia sobre cómo gestionar y procesar los grandes y complejos conjuntos de datos científicos de la actualidad.

El debut de Summit marcó la tercera vez que el laboratorio ha hecho frente a la supercomputadora más rápida del mundo. Estos sistemas se han utilizado para abordar algunos de los desafíos científicos más urgentes de nuestro tiempo, incluida la energía de fusión, entrega de medicamentos, y el diseño de materiales novedosos, esfuerzos que también han convertido a ORNL en un líder mundial en el campo cada vez más importante de big data.

Los investigadores de BP recurrieron al líder del grupo de datos científicos de ORNL, Scott Klasky, y al líder del equipo de gestión de datos científicos de ORNL, Norbert Podhorszki, investigadores principales detrás del Sistema de E / S Adaptable (ADIOS), un middleware de E / S que ha ayudado a los investigadores a lograr avances científicos al proporcionar un forma flexible de describir datos en su código que pueden necesitar ser escritos, leer, o procesado fuera de la simulación en ejecución.

BP invitó a Klasky y Podhorszki a sus oficinas de Houston para brindar al equipo de computación de alto rendimiento de la compañía un tutorial de ADIOS y demostrar cómo podría ayudarlos a acelerar su ciencia al ayudarlos a abordar sus grandes desafíos. conjuntos de datos sísmicos únicos.

"El taller fue increíble, ", dijo Bosen Du, analista de tecnología de BP HPC." Fue una excelente introducción a ADIOS, y definitivamente vimos muchas oportunidades posibles para aplicarlo a nuestros desafíos específicos. Aun mejor, Scott y Norbert hicieron preguntas específicas para personalizar el tutorial de BP ".

Klasky compartió el entusiasmo de Du. "Este fue uno de los tutoriales más agradables que hemos dado debido al nivel de interés de todos en la sala, " él dijo, agregando que el interés de BP llevó a lo que probablemente sea el tutorial más largo que el equipo haya dado.

Una asociación natural

El viaje de Klasky y Podhorszki fue el resultado de una creciente relación entre ORNL y BP.

Director de HPC de BP, Keith Gray, ya estaba familiarizado con las instalaciones de computación de liderazgo de Oak Ridge de ORNL, la instalación para usuarios de la Oficina de Ciencias del DOE que es el hogar de Summit, a través de los testimonios positivos de colegas que habían participado en su Programa de Asociación Industrial ACCEL (Acelerando la Competitividad a través de la Excelencia Computacional.

Gray incluso visitó ORNL hace dos años para dar una conferencia invitada sobre cómo las necesidades del centro de datos de BP son más pequeñas pero similares a las de un centro como el OLCF y sobre la importancia de un centro de datos confiable para respaldar el compromiso de BP de estar a la vanguardia de la supercomputación. tecnología.

Esa relación junto con las capacidades únicas de ADIOS, hizo que la elección fuera fácil. "Empezamos a investigar y ADIOS siempre estuvo en la parte superior de la lista, "dijo Gray, agregando:"Al colaborar, La experiencia de clase mundial de BP en la aplicación de HPC para resolver problemas científicos complejos podría ayudar al equipo de ADIOS a comprender los diferentes flujos de trabajo a medida que nos ayudan a administrar nuestros datos ".

La gestión de esos datos es fundamental desde una perspectiva empresarial. En un proyecto reciente, el equipo de BP se enfrentó a un conjunto de datos de 500 terabytes. Y eso es antes del procesamiento sísmico, después de lo cual el conjunto de datos puede multiplicarse por diez.

"Tener algo que pueda escalar, hacer E / S masivamente paralelas, y la compresión de soporte sería una gran ventaja para ayudarnos a superar nuestros problemas de datos actuales, "dijo Bashkardin. MGARD, una técnica desarrollada conjuntamente por ORNL y la Universidad de Brown que se utiliza para la compresión con pérdida de datos científicos y que garantiza matemáticamente los límites de error, parecía un ajuste particularmente bueno para los problemas de compresión de BP, dijo Klasky.

Agregó que los cambios recientes en ADIOS, hecho posible por el Exascale Computing Project, han ayudado al código de sismología SPECFEM3D-Globe utilizado por Jeroen Tromp de Princeton a alcanzar una velocidad de más de 2 terabytes por segundo al escribir datos en el sistema de archivos paralelo general de Summit. Tal velocidad podría conducir a una mayor colaboración con el equipo de Tromp, que utiliza ADIOS como backend de E / S, y ayudar a fortalecer la capacidad de procesamiento de datos para una gran parte de la comunidad sismológica.

Superar problemas como los cuellos de botella de E / S significa una reducción en el tiempo de respuesta del análisis de datos, lo que permitiría a la empresa explorar diferentes ideas, identificar y abordar los cuellos de botella, y lograr una mejor comprensión del subsuelo. Tomados en conjunto, estas capacidades pueden crear grandes avances para el programa de investigación de BP.

Pero una implementación exitosa de ADIOS en el código de E / S actual de BP, apodado el sistema de diccionario de datos, también sería beneficioso a corto plazo. Por ejemplo, le daría a su equipo información valiosa sobre si están aplicando las tecnologías y estrategias correctas para tener éxito.

"Puede ayudarnos a considerar la creación de sistemas de archivos adicionales para ofrecer más ancho de banda que nuestros clústeres actuales, "dijo Gray, agregando que "no necesita nuevos sistemas de archivos si su E / S está en su punto máximo, y actualmente no tenemos todas las métricas de E / S necesarias ". Los investigadores del equipo de ORNL han acordado brindar apoyo para ayudar a BP a evaluar su estrategia de datos.

Bashkardin agregó:"Luchamos para extraer el ancho de banda de E / S de nuestro sistema de archivos Lustre debido a una serie de factores. Hay mucho que ganar en estos términos. Incluso duplicar el rendimiento con un solo conjunto de datos sería una mejora enorme".

En teoria, ADIOS podría acelerar algunos trabajos de días a horas, alterando fundamentalmente los flujos de trabajo de los investigadores sísmicos de BP. Y, según Qingquing Liao, especialista en computación de BP HPC, La capacidad de visualización incorporada del middleware es una herramienta excelente que identifica áreas problemáticas de los códigos y modelos de los investigadores para ayudarlos a comprender mejor cómo alterar sus algoritmos. Klasky da crédito a sus colegas Lipeng Wan y William Godoy por esta capacidad, que permite a los usuarios pasar instantáneamente del acoplamiento de código basado en archivos (por ejemplo, el acoplamiento asincrónico de un código a la visualización) al acoplamiento en memoria sin cambiar su código.

Pero antes de que se pueda implementar ADIOS, el equipo de BP deberá especificar qué características viables quieren ver en su backend de E / S y crear una nueva capa de API con un conjunto específico de objetivos de API.

"Poder aprovechar ADIOS de ORNL y trabajar juntos para mejorarlo ampliará la experiencia de BP en el uso de big data para resolver problemas energéticos críticos," "dijo Gray.