Dos astrónomos de la Universidad de Groningen (Países Bajos) han desarrollado una biblioteca de software que puede generar visualizaciones sin esfuerzo basándose en cientos de millones de puntos de datos. Maarten Breddels y Jovan Veljanoski desarrollaron inicialmente su software para manejar la enorme cantidad de datos de la misión Gaia. Sin embargo, el software también puede mostrar patrones en otros archivos de datos grandes. El software es de código abierto y de uso gratuito. Los investigadores explican los entresijos en un artículo que ha sido aceptado para su publicación en la revista. Astronomía y Astrofísica .

Breddels y Veljanoski llaman a su software Vaex, que significa "visualización y exploración de grandes conjuntos de datos tabulares". El software interactivo puede generar visualizaciones de miles de millones de puntos de datos en solo un segundo. Se comporta de manera similar a Google Maps. Al hacer una panorámica o hacer zoom, un mapa actualizado o más detallado aparece casi de inmediato. Sin embargo, Google Maps se ejecuta rápido, servidores potentes, mientras que Vaex funciona en una computadora portátil.

El poder de Vaex radica en la combinación de varias técnicas inteligentes. Primero, utiliza un algoritmo inteligente que maximiza toda la potencia informática disponible. Luego, lee solo los datos requeridos del disco duro y los envía directamente a la memoria principal de la computadora. Finalmente, es extremadamente eficiente en memoria, y la memoria de trabajo no almacena copias innecesarias de los datos.

Breddels ha presentado Vaex en vivo en varias conferencias. Como ejemplo, utilizó un conjunto de datos que consta de mil millones de entradas relacionadas con los taxis Yellow Cab en la ciudad de Nueva York. Muestra qué viajes en taxi son los más lucrativos, y donde los taxis deben esperar en cualquier momento del día para maximizar sus ganancias. Este ejemplo muestra cómo Vaex puede ser interesante y beneficioso para aplicaciones generales fuera de la astronomía.