Un nuevo sistema de archivos distribuido para la informática de alto rendimiento disponible hoy a través del sitio de colaboración de software GitHub proporciona un rendimiento sin precedentes para la creación, Actualización y gestión de cantidades extremas de archivos.

"Diseñamos DeltaFS para permitir la creación de billones de archivos, "dijo Brad Settlemyer, un científico informático de Los Alamos y líder del proyecto. El Laboratorio Nacional de Los Alamos y la Universidad Carnegie Mellon desarrollaron conjuntamente DeltaFS. "Esta herramienta ayuda a los investigadores a resolver problemas clásicos de la informática de alto rendimiento, como el seguimiento de la trayectoria de las partículas o la detección de vórtices ".

DeltaFS crea un sistema de archivos que le parece al usuario como cualquier otro sistema de archivos, no requiere hardware especializado, y está diseñado exactamente para ayudar al científico en nuevos descubrimientos cuando se utiliza una plataforma informática de alto rendimiento.

"Uno de los principales desafíos, y objetivos principales de DeltaFS, estaba escalando a través de miles de servidores sin requerir que una parte de ellos se dedicara al sistema de archivos, "dijo George Amvrosiadis, profesor asistente de investigación en la Universidad Carnegie Mellon y coautor del proyecto. "Esto libera a los administradores de tener que decidir cómo asignar recursos para el sistema de archivos, que se convertirá en una necesidad cuando las máquinas a exaescala se conviertan en realidad ".

El sistema de archivos trae consigo dos cambios importantes en la computación de alto rendimiento. Primero, DeltaFS permite nuevas estrategias para diseñar las propias supercomputadoras, cambiando drásticamente el costo de crear y administrar archivos. Además, DeltaFS mejora radicalmente el rendimiento de consultas altamente selectivas, reduciendo drásticamente el tiempo para el descubrimiento científico.

DeltaFS es un transitorio, servicio definido por software que permite acceder a los datos desde un puñado hasta cientos de miles de computadoras en función de los requisitos de rendimiento del usuario.

"Las técnicas de almacenamiento utilizadas en DeltaFS son aplicables en muchos dominios científicos, pero creemos que al aliviar el cuello de botella de los metadatos, realmente hemos mostrado una forma de diseñar y adquirir sistemas de almacenamiento HPC mucho más eficientes, "Dijo Settlemyer.