Fig 1. Múltiples flujos de GPU asíncronos de GMiner. Crédito:Instituto de Ciencia y Tecnología de Daegu Gyeongbuk (DGIST)
Un equipo de investigación del Instituto de Ciencia y Tecnología Daegu Gyeongbuk de Corea (DGIST) logró analizar grandes cantidades de datos hasta 1, 000 veces más rápido que la tecnología existente mediante el uso de la tecnología 'GMiner' basada en GPU. Se espera que el hallazgo del análisis de patrones de big data se utilice en varias industrias, incluidos los sectores de finanzas y TI.
Un equipo internacional de investigadores, dirigido por el profesor Min-Soo Kim del Departamento de Ingeniería de la Información y la Comunicación, desarrolló la tecnología 'GMiner' que puede analizar patrones de big data a alta velocidad. La tecnología GMiner presenta un rendimiento de hasta 1, 000 veces más rápido que la mejor tecnología de minería de patrones actual del mundo.
La tecnología de minería de patrones identifica todos los patrones importantes que aparecen repetidamente en el big data de varios campos, como la compra de bienes en mega-mercados, transacciones bancarias, paquetes de red, y redes sociales. Esta tecnología se usa ampliamente en varias industrias para propósitos tales como determinar la ubicación de los productos en los estantes de los megamercados o recomendar tarjetas de crédito que coincidan con los patrones de uso de los consumidores de diferentes edades.
La creciente importancia de la minería de patrones ha llevado al desarrollo de miles de tecnologías de minería de patrones durante los últimos 20 años; sin embargo, debido a la creciente longitud de los patrones de big data, lo que aumentó exponencialmente el número de patrones analíticos, Las tecnologías mineras existentes se vieron obstaculizadas en su análisis de datos de más de diez gigabytes (GB) porque no pudieron completar su análisis debido a la memoria insuficiente de la computadora o tomaron demasiado tiempo.
Las tecnologías tradicionales de minería de patrones encontraron primero patrones de longitud media y los almacenaron en la memoria. Cuando busque un patrón que sea más largo que mediano, utilizaron un método para encontrar patrones finales en comparación con un patrón de longitud media que se había guardado previamente.
Fig 2. Flujo de datos de GMiner usando múltiples GPU. Crédito:Instituto de Ciencia y Tecnología de Daegu Gyeongbuk (DGIST)
Sin embargo, La tecnología GMiner desarrollada por el equipo de investigación ha logrado resolver fundamentalmente el problema de las tecnologías existentes al proponer técnicas anti-intuitivas que combinan los patrones de longitud media calculados temporalmente utilizando los miles de núcleos en unidades de procesamiento de gráficos (GPU) para calcular la longitud máxima de patrones.
La tecnología GMiner resolvió por completo el problema crónico de memoria insuficiente que sufren las tecnologías convencionales al no almacenar un número exponencial de patrones de longitud media en la memoria. Además, resolvió el problema de la velocidad lenta transmitiendo datos desde la memoria principal a la GPU mientras buscaba patrones simultáneamente utilizando el alto rendimiento computacional de la GPU.
La tecnología GMiner mostró un rendimiento de análisis de un mínimo de 10 veces a un máximo de 1, 000 veces más rápido que las tecnologías distribuidas y paralelas convencionales que analizaron datos utilizando hasta docenas de computadoras domésticas generales que tienen una sola GPU por computadora; por lo tanto, puede analizar big data a mayor escala que las tecnologías existentes. También mostró un excelente rendimiento de expansión que mejora el rendimiento en proporción a la cantidad de GPU.
El profesor Kim dijo:"Hemos asegurado tecnologías fundamentales que pueden analizar patrones de big data a alta velocidad sin ningún problema en la memoria para big data acumulados en una variedad de industrias. Al resolver problemas donde las tecnologías de minería de patrones no se aplicaron correctamente a big data debido a la falta de memoria y velocidad lenta, esta nueva tecnología se puede utilizar para ayudar a las empresas a tomar decisiones eficientes mediante el análisis de patrones de big data en varios sectores, incluido el financiero, venta minorista, ESO, y sectores relacionados con la biología ".
El resultado de esta investigación se publicó en la edición del 9 de mayo de Information Sciences, la revista internacional más autorizada en el campo de la ciencia de la información.
