Gran escala, informática avanzada de alto rendimiento, a menudo llamado supercomputación, es esencial para resolver preguntas complejas y grandes.

Todo, desde responder consultas metafísicas sobre los orígenes del universo hasta descubrir medicamentos para combatir el cáncer y respaldar servicios de transmisión de alta velocidad, requiere procesar grandes cantidades de datos.

Pero las plataformas de almacenamiento esenciales para estos sistemas informáticos avanzados se han atascado en un marco rígido que requería que los usuarios eligieran entre la personalización de las funciones o la alta disponibilidad.

Ahora, Los investigadores de Virginia Tech han encontrado una manera de brindar a los sistemas de datos de computación de alto rendimiento (HPC) la flexibilidad para prosperar con un marco de trabajo único en su tipo llamado BespoKV, quizás ayudando a algún día a lograr el objetivo de HPC de desempeñarse en la exaescala, o mil millones de millones de cálculos por segundo.

Los investigadores presentarán sus hallazgos en la Conferencia de Supercomputación de la Asociación de Maquinaria de Computación / IEEE en Dallas, Texas, el 13 de noviembre.

El ingrediente principal para el funcionamiento de la nueva plataforma son los sistemas de valor clave (KV). Los sistemas KV almacenan y recuperan datos importantes de un almacenamiento basado en memoria muy rápido en lugar de discos más lentos. Estos sistemas se utilizan cada vez más en las aplicaciones actuales de alto rendimiento que utilizan sistemas distribuidos, que se componen de muchas computadoras para resolver un problema. La informática de alto rendimiento se basa en que las computadoras ingresen, proceso, y analizar grandes cantidades de datos a velocidades sin precedentes. En la actualidad, los mejores sistemas operan a un billón de cálculos por segundo, o un petaflop.

La investigación es relevante para industrias que procesan grandes cantidades de datos, ya sea por el acaparamiento de espacio, gráficos visuales intensos de sitios de transmisión de películas; millones de transacciones financieras en grandes empresas de tarjetas de crédito; o contenido generado por el usuario en los medios de comunicación social. Piense en grandes sitios de medios como Facebook, donde el contenido cambia y se accede continuamente. Cuando los usuarios cargan contenido en sus páginas de perfil, esa información reside en varios servidores.

Pero si tiene que acceder continuamente a cierto contenido, Los sistemas KV pueden ser mucho más eficientes como medio de almacenamiento porque el contenido se carga desde el almacén en memoria más rápido cercano, no el servidor de almacenamiento lejano. Esto permite que el sistema proporcione un rendimiento muy alto para completar tareas o solicitudes.

"Me interesé en los sistemas de valor clave porque esta plataforma de almacenamiento tan fundamental y simple no ha sido explotada en sistemas informáticos de alto rendimiento donde puede brindar muchos beneficios, "dijo Ali Anwar, primer autor del artículo que se presenta y un recién graduado de Virginia Tech que actualmente trabaja en IBM Research. "BespoKV es un marco novedoso que puede permitir que los sistemas HPC proporcionen mucha flexibilidad y rendimiento y no estén encadenados a un diseño de almacenamiento rígido".

La principal innovación de BespoKV es que admite la composición de una gama de tiendas KV con características deseables. Funciona tomando un almacén de KV de servidor único llamado datalet y habilita almacenes de KV distribuidos inmediatos y listos para usar. Ahora, en lugar de rediseñar un sistema desde cero para realizar una tarea específica, un desarrollador puede colocar un datalet en BespoKV y descargar la "plomería desordenada" de los sistemas distribuidos al marco. BespoKV desacopla el diseño de la tienda KV en el plano de control para la gestión distribuida y el plano de datos para el almacenamiento local de datos.

El marco también permite nuevos servicios de HPC para cargas de trabajo que las empresas e instituciones aún deben anticipar.

Uno de los principales efectos limitantes de las tiendas KV de última generación es que están diseñadas teniendo en cuenta los servicios distribuidos preexistentes y, a menudo, están especializadas para un entorno específico. Otro factor limitante es el diseño monolítico inflexible donde las características distribuidas están profundamente integradas en un sistema con almacenes de datos de back-end que hacen cosas como administrar el inventario, pedidos, y suministro. El diseño rígido de estas tiendas KV no se adapta a las demandas cambiantes de los usuarios de una miríada de backend, topología, consistencia, y una serie de otros servicios.

"Los desarrolladores de grandes empresas realmente pueden hundirse en el diseño de sistemas de almacenamiento HPC innovadores con BespoKV, "dijo Ali Butt, profesor de informática. "El rendimiento del acceso a los datos es una limitación importante en los sistemas de almacenamiento HPC y, en general, emplea una combinación de soluciones para proporcionar flexibilidad junto con el rendimiento. lo cual es engorroso. Hemos creado una forma de acelerar significativamente el comportamiento del sistema para cumplir con el rendimiento deseado, consistencia, y niveles de confiabilidad ".

BespoKV puede ser ágil porque permite un mapeo arbitrario entre los servicios deseados y los componentes disponibles al mismo tiempo que admite servicios de administración distribuidos para realizar y habilitar las tiendas KV distribuidas asociadas con el datalet.

"Ahora que hemos demostrado que podemos realizar la acción eficiente y sencilla de utilizar sistemas KV en potentes sistemas HPC, los clientes no tendrán que elegir entre escalabilidad y flexibilidad, "dijo Butt.