La nueva actualización de hardware y software trae buenas noticias a más de 52 años. 000 usuarios del sistema de almacenamiento masivo a largo plazo Ranch de TACC. Crédito:TACC
Hay una broma del comediante Steven Wright que dice:"No puedes tenerlo todo. ¿Dónde lo pondrías?"
Es probable que los usuarios de informática avanzada se sientan identificados con esto. El crecimiento exponencial de los datos plantea un gran desafío a los esfuerzos por su almacenamiento confiable. Durante más de 12 años, el sistema Ranch en el Centro de Computación Avanzada de Texas (TACC) ha proporcionado un archivo a largo plazo de datos de investigación que van desde la astrofísica hasta la ciencia del clima y la física de partículas, y más. Una nueva actualización de hardware y software trae buenas noticias a más de 52 años. 000 usuarios del sistema de almacenamiento masivo de datos a largo plazo Ranch de TACC.
Los archivos son valiosos para los científicos que desean utilizar los datos para ayudar a reproducir las mediciones y los resultados de investigaciones anteriores. La reproducibilidad computacional es una parte del concepto más amplio de reproducibilidad científica, que forma una piedra angular del método científico.
TACC se esfuerza por respaldar de manera integral las necesidades de datos de los científicos. Los sistemas informáticos locales como Stampede2 y Lonestar proporcionan un espacio temporal de alta velocidad dedicado al almacenamiento temporal de datos. Los siguientes en la escalera son los sistemas de recopilación de datos frontales de Stockyard y Corral, que proporcionan un almacenamiento combinado de 50 petabytes directamente accesible a través de conexiones web de alta velocidad o la red de datos iRODS. Rancho, por otra parte, permite el archivo de datos a largo plazo durante meses o años.
El sistema de archivo Ranch de TACC incluye una biblioteca de cintas Quantum Scalar i6000 con el sistema de archivos StorNext que coordina el almacenamiento en disco y en cinta. Vista interior (izquierda) y exterior (derecha). Crédito:TACC
A abril de 2019, Ranch almacena más de 70 petabytes, o 70 millones de gigabytes de datos científicos. Más de 52, 000 usuarios han subido cerca de 1.700 millones de archivos de computadora en la antigua biblioteca de Ranch que se está actualizando. Hipotéticamente las nuevas actualizaciones de Ranch podrían expandir su almacenamiento para alcanzar un exabyte alucinante, o 1, 000 petabytes.
"Para los usuarios, habrá más datos disponibles, con 15 veces más caché de disco que lo que teníamos en el sistema Ranch anterior, "dijo Tommy Minyard, director de Sistemas Informáticos Avanzados en TACC. Datos frescos que se generan a partir de supercomputadoras TACC como Stampede2, Estrella solitaria, o Maverick se pone en escena primero en el disco giratorio y las unidades flash de Ranch, luego se trasladó a cintas.
Ranch se ha actualizado con un sistema de almacenamiento en bloque suministrado por DataDirect Networks, el DDN SFA14K DCR, que proporciona 30 petabytes de caché de disco giratorio, versus solo dos en el hardware reemplazado. "Eso significa que podremos mantener muchos más datos almacenados en discos para que se puedan recuperar más rápidamente y no tenga que recuperarlos de la cinta, "Añadió Minyard.
Otro cambio bienvenido a Ranch proviene de la empresa Quantum, que proporcionó una biblioteca de cintas Scalar i6000 con el sistema de archivos de archivo Quantum StorNext que coordina el almacenamiento en disco y en cinta. "Elegimos el sistema Quantum en función de su capacidad y flexibilidad, "dijo Junseong Heo, administrador y gerente senior de sistemas, Large Scale Systems del grupo Advanced Computing Systems de TACC.
Ranch actualizado al sistema de almacenamiento en bloque DDN SFA14K DCR, suministrado por DataDirect Networks, que proporciona 30 petabytes de caché de disco giratorio. Crédito:TACC
"Específicamente, Quantum proporciona un mecanismo de control de cuotas que permite a TACC proporcionar un área de proyecto basada en asignaciones para los usuarios, ", Agregó Heo. Eso significa que los usuarios pueden tener un acceso mucho más fácil a los datos y supervisar el uso de los recursos". La cuota basada en proyectos ha estado en la parte superior de la lista de deseos de los usuarios en el pasado, "Dijo Heo.
"El enfoque de TACC en la innovación constante crea un entorno que ejerce una enorme presión sobre el almacenamiento, y Quantum ha estado durante mucho tiempo a la vanguardia en la gestión de soluciones que cumplen con la confiabilidad más extrema, requisitos de accesibilidad y escalabilidad masiva, "dijo" Eric Bassier, Director sénior de marketing de productos, Cuántico. "La combinación de la cinta Scalar con las capacidades de gestión de datos de StorNext crea una solución HSM (gestión de almacenamiento jerárquica) que es capaz de cumplir con las exigentes condiciones del entorno TACC".
"El nuevo sistema proporciona algunas capacidades adicionales para que podamos manejar los datos del proyecto y los niveles de almacenamiento mejor que el sistema anterior, ", Agregó Minyard. Esta es una noticia especialmente buena para los usuarios habituales de Ranch, cuya asignación puede cambiar con frecuencia. Los 100 usuarios más pesados combinados tienen más de 20 petabytes en el sistema de archivo actual.
Uno de los grandes cambios que los usuarios notarán es la adopción del entorno Community Enterprise Operating System (CentOS), que reemplazó al entorno Solaris anterior. A medida que los usuarios navegan por CentOS para migrar sus archivos a las nuevas bibliotecas Ranch, TACC proporciona 12 meses de acceso de solo lectura a los datos de la biblioteca anterior hasta finales del 31 de marzo de 2020. Los usuarios deben inspeccionar y migrar datos en tamaños favorables para los archivos de cinta, preferiblemente mayor de 100 gigabytes en tamaño de archivo individual.
"Los datos de archivo no son glamorosos, pero es obligatorio "dijo Minyard." No sé cuántas veces hemos tenido a alguien que ha entrado en pánico por eliminar accidentalmente un archivo, donde TACC pudo recuperar el archivo de Ranch. Desde su punto de vista, Ranch es un salvavidas, "Dijo Minyard.