Un estudiante de la Facultad de Ciencias de la Computación (SCS) de la Universidad Carnegie Mellon ha utilizado el aprendizaje por refuerzo para ayudar a controlar las reacciones de fusión nuclear, un paso significativo hacia el aprovechamiento de la inmensa potencia producida en la fusión nuclear como fuente de energía limpia y abundante.

Ian Char, candidato a doctorado en el Departamento de Aprendizaje Automático, utilizó el aprendizaje por refuerzo para controlar el plasma de hidrógeno de la máquina tokamak en la Instalación Nacional de Fusión DIII-D en San Diego. Fue el primer investigador de CMU en realizar un experimento en las máquinas buscadas, el primero en utilizar el aprendizaje por refuerzo para afectar la rotación de un plasma tokamak y la primera persona en probar el aprendizaje por refuerzo en la máquina tokamak en funcionamiento más grande de los Estados Unidos. . Char colaboró ​​con el Laboratorio de Física de Plasma de Princeton (PPPL) en el trabajo.

"El aprendizaje de refuerzo afectó la presión del plasma y su rotación", dijo Char. "Y esa es realmente nuestra gran primera vez aquí".

La fusión nuclear ocurre cuando los núcleos de hidrógeno chocan o se fusionan. Este proceso libera una gran cantidad de energía, pero sigue siendo un desafío mantener los niveles necesarios para poner electricidad en la red. Los núcleos de hidrógeno solo se fusionarán bajo temperaturas y presiones extremadamente altas, como las que se encuentran en el centro del sol, donde la fusión nuclear ocurre naturalmente. Los físicos también han logrado la fusión nuclear en armas termonucleares, pero estas no son útiles como fuentes de energía.

Otro método para producir fusión nuclear utiliza campos magnéticos para contener un plasma de hidrógeno a la temperatura y presión requeridas para fusionar los núcleos. Este proceso ocurre dentro de un tokamak, una máquina enorme que usa campos magnéticos para confinar el plasma de hidrógeno en forma de dona llamada toro. Contener el plasma y mantener su forma requiere cientos de micromanipulaciones en los campos magnéticos y explosiones de partículas de hidrógeno adicionales.

Hay pocos tokamaks a gran escala en funcionamiento en el mundo que puedan facilitar este tipo de investigación, y se codicia el tiempo para realizar experimentos con ellos. La Instalación Nacional de Fusión DIII-D es la única que opera en los Estados Unidos.

DeepMind, una subsidiaria de inteligencia artificial de Alphabet, la empresa matriz de Google, fue la primera en utilizar el aprendizaje por refuerzo para controlar el campo magnético que contiene la reacción de fusión. El laboratorio mantuvo estable el plasma y lo esculpió en diferentes formas. DeepMind realizó su experimento en el Tokamak de configuración variable (TCV) en Lausana, Suiza, y publicó sus hallazgos en febrero en Nature .

Char fue el primero en realizar un experimento de aprendizaje por refuerzo similar en DIII-D. El aprendizaje por refuerzo utiliza datos de intentos anteriores para lograr un resultado óptimo. Durante el experimento de Char, los algoritmos de aprendizaje por refuerzo examinaron datos históricos y en tiempo real para variar y controlar la velocidad de rotación del plasma en busca de una estabilidad óptima.

La rosquilla de plasma gira cuando se le disparan partículas de hidrógeno adicionales. Variar la velocidad de estas partículas disparadas puede potencialmente estabilizar el plasma y hacer que sea más fácil de contener. Char usó dos algoritmos de aprendizaje para su experimento. En uno, usó datos del tokamak recopilados durante varios años para entrenarlo sobre cómo reacciona el plasma. El segundo algoritmo observa la condición del plasma y luego decide a qué velocidad y dirección disparar las partículas adicionales para afectar su velocidad.

"El objetivo a corto plazo es dar a los físicos las herramientas para causar esta rotación diferencial para que puedan hacer los experimentos para hacer que este plasma sea más estable", dijo Jeff Schneider, profesor de investigación en el Instituto de Robótica y Ph.D. de Char. asesor. "A más largo plazo, este trabajo muestra un camino para usar el aprendizaje por refuerzo para controlar otras partes del estado del plasma y, en última instancia, lograr las temperaturas y presiones durante el tiempo suficiente para tener una planta de energía. Eso significaría energía limpia e ilimitada para todos".

Char presentó el proyecto a DIII-D, que es una instalación para usuarios de la Oficina de Ciencias del Departamento de Energía de EE. UU. administrada por General Atomics, el año pasado y se le otorgó un espacio de tres horas para ejecutar sus algoritmos el 28 de junio. Sentado en la sala de control de la enorme instalación DIII-D y rodeado de operadores, Char cargó sus algoritmos.

Char demostró que sus algoritmos podían controlar la velocidad de rotación del plasma. Esta fue la primera vez que se utilizó el aprendizaje por refuerzo para controlar la rotación. Surgieron algunos problemas durante la sesión de control y se necesitan más pruebas. Char regresó a DIII-D a fines de agosto para continuar con su trabajo.

"Ian mostró una tremenda capacidad para digerir los problemas de control específicos del dispositivo de fusión y la física del plasma que lo subraya", dijo Egemen Kolemen, profesor asociado en el Departamento de Ingeniería Aeroespacial y Mecánica de la Universidad de Princeton y uno de los colaboradores de Char en PPPL. "Es un gran logro aplicar la teoría que aprendió en CMU a un problema de fusión real y dirigir un experimento en una instalación de fusión nacional. Ese trabajo normalmente requiere años de capacitación en física e ingeniería de plasma". + Explora más

EPFL y DeepMind usan IA para controlar plasmas para fusión nuclear