La IA de consumo está encontrando su camino en la vida diaria de las personas con su capacidad para generar texto e imágenes y automatizar tareas. Pero los astrónomos necesitan una IA especializada y mucho más potente. Las grandes cantidades de datos de observación generados por los telescopios y observatorios modernos desafían los esfuerzos de los astrónomos por extraer todo su significado.
Un equipo de científicos está desarrollando una nueva IA para datos astronómicos llamada AstroPT. Lo presentaron en un nuevo artículo titulado "AstroPT:Scaling Large Observation Models for Astronomy". El artículo está disponible en arXiv. servidor de preimpresión y el autor principal es Michael J. Smith, científico de datos y astrónomo de Aspia Space.
Los astrónomos se enfrentan a una creciente avalancha de datos, que se ampliará enormemente cuando el Observatorio Vera Rubin (VRO) entre en funcionamiento en 2025. El VRO tiene la cámara más grande del mundo y cada una de sus imágenes podría llenar 1.500 televisores de pantalla grande. Durante su misión de 10 años, el VRO generará alrededor de 0,5 exabytes de datos, que es aproximadamente 50.000 veces más datos que los contenidos en la Biblioteca del Congreso de Estados Unidos.
Otros telescopios con enormes espejos también se acercan a la primera luz. El Telescopio Gigante de Magallanes, el Telescopio de Treinta Metros y el Telescopio Europeo Extremadamente Grande combinados generarán una cantidad abrumadora de datos.
Tener datos que no se pueden procesar es lo mismo que no tenerlos en absoluto. Es básicamente inerte y no tiene significado hasta que se procesa de alguna manera. "Cuando tienes demasiados datos y no tienes la tecnología para procesarlos, es como no tener datos", afirmó Cecilia Garraffo, astrofísica computacional del Centro Harvard-Smithsonian de Astrofísica.
Aquí es donde entra en juego AstroPT.
AstroPT significa Astro Pretrained Transformer, donde un transformador es un tipo particular de IA. Los transformadores pueden cambiar o transformar una secuencia de entrada en una secuencia de salida. Es necesario entrenar la IA, y AstroPT ha sido entrenado en 8,6 millones de imágenes de 512 x 512 píxeles de DESI Legacy Survey Data Release 8. DESI es el instrumento espectroscópico de energía oscura. DESI estudia el efecto de la energía oscura capturando los espectros ópticos de decenas de millones de galaxias y quásares.
AstroPT e IA similares se ocupan de "tokens". Los tokens son elementos visuales de una imagen más grande que contienen significado. Al dividir las imágenes en tokens, una IA puede comprender el significado más amplio de una imagen. AstroPT puede transformar tokens individuales en resultados coherentes.
AstroPT ha sido entrenado con tokens visuales. La idea es enseñar a la IA a predecir el próximo token. Cuanto más se haya entrenado para ello, mejor será su rendimiento.
"Demostramos que los modelos generativos autorregresivos simples pueden aprender información científicamente útil cuando están previamente entrenados en la tarea sustituta de predecir el siguiente parche de 16 × 16 píxeles en una secuencia de parches de imágenes de galaxias", escriben los autores. En este esquema, cada parche de imagen es un token.
Uno de los obstáculos para entrenar IA como AstroPT tiene que ver con lo que los científicos de IA llaman la "crisis de los tokens". Para ser eficaz, la IA debe entrenarse con una gran cantidad de tokens de calidad. En un artículo de 2023, otro equipo de investigadores explicó que la falta de tokens puede limitar la eficacia de algunas IA, como los LLM o los modelos de lenguajes grandes. "Los LLM de última generación requieren grandes cantidades de datos de texto a escala de Internet para la formación previa", escribieron. "Desafortunadamente... la tasa de crecimiento de los datos de texto de alta calidad en Internet es mucho más lenta que la tasa de crecimiento de los datos requeridos por los LLM".
AstroPT enfrenta el mismo problema:escasez de tokens de calidad para entrenar. Al igual que otras IA, utiliza LOM o grandes modelos de observación. El equipo dice que sus resultados hasta ahora sugieren que AstroPT puede resolver la crisis de los tokens utilizando datos de observaciones. "Este es un resultado prometedor que sugiere que los datos tomados de las ciencias observacionales complementarían los datos de otros dominios cuando se usan para entrenar previamente un único LOM multimodal, y por lo tanto apunta hacia el uso de datos observacionales como una solución a la 'crisis de los tokens'. '"
Los desarrolladores de IA están ansiosos por encontrar soluciones a la crisis de los tokens y otros desafíos de la IA.
Sin una mejor IA, un cuello de botella en el procesamiento de datos impedirá que los astrónomos y astrofísicos hagan descubrimientos a partir de las grandes cantidades de datos que pronto llegarán. ¿Puede ayudar AstroPT?
Los autores esperan que sea posible, pero necesita mucho más desarrollo. Dicen que están abiertos a colaborar con otros para fortalecer AstroPT. Para ayudar a eso, siguieron los "modelos comunitarios líderes actuales" lo más de cerca posible. Lo llaman un "proyecto abierto a todos".
"Tomamos estas decisiones con la creencia de que el desarrollo comunitario colaborativo allana el camino más rápido hacia la realización de un gran modelo de observación de código abierto a escala web", escriben.
"Invitamos cordialmente a posibles colaboradores a unirse a nosotros", concluyen.
Será interesante ver cómo los desarrolladores de IA se mantendrán al día con la gran cantidad de datos astronómicos que nos llegan.
