Crédito:Raghavan, Hostetler y Chai.
Una limitación clave de los sistemas de inteligencia artificial (IA) existentes es que no pueden abordar tareas para las que no han sido capacitados. De hecho, incluso cuando se vuelven a capacitar, la mayoría de estos sistemas son propensos al 'olvido catastrófico, ', lo que esencialmente significa que un nuevo elemento puede alterar su conocimiento previamente adquirido.
Por ejemplo, si un modelo se entrena inicialmente para completar la tarea A y luego se vuelve a capacitar en la tarea B, su desempeño en la tarea A podría disminuir considerablemente. Una solución ingenua sería agregar infinitamente más capas neuronales para respaldar tareas o elementos adicionales que se están entrenando, pero tal enfoque no sería eficiente, o incluso funcionalmente escalable.
Investigadores de SRI International han intentado recientemente aplicar mecanismos de transferencia de memoria biológica a los sistemas de IA, ya que creen que esto podría mejorar su desempeño y hacerlos más adaptables. Su estudio, prepublicado en arXiv, se inspira en los mecanismos de transferencia de la memoria en los seres humanos, como la memoria a corto y largo plazo.
"Estamos construyendo una nueva generación de sistemas de inteligencia artificial que pueden aprender de las experiencias, "Sek Chai, un co-PI del proyecto DARPA Lifelong Learning Machines (L2M), dijo a TechXplore. "Esto significa que pueden adaptarse a nuevos escenarios en función de sus experiencias. Hoy, Los sistemas de IA fallan porque no son adaptables. El proyecto DARPA L2M, dirigido por el Dr. Hava Siegelmann, busca lograr avances que cambien el paradigma en las capacidades de IA ".
Crédito:Raghavan, Hostetler y Chai.
La transferencia de memoria implica una secuencia compleja de procesos dinámicos, que permiten a los humanos acceder fácilmente a recuerdos destacados o relevantes cuando piensan, planificación, crear o hacer predicciones sobre eventos futuros. Se cree que el sueño juega un papel fundamental en la consolidación de los recuerdos, particularmente el sueño REM, la etapa en la que los sueños ocurren con mayor frecuencia.
En su estudio, Chai y sus colegas de SRI desarrollaron un mecanismo de memoria generativa que se puede utilizar para entrenar sistemas de IA de una manera pseudo-ensayo. Usando la repetición y el aprendizaje por refuerzo (RL), Este mecanismo permite que los sistemas de inteligencia artificial aprendan de recuerdos destacados a lo largo de su vida. y escalar con una gran cantidad de tareas o elementos de capacitación. El enfoque de la memoria generativa desarrollado por Chai y sus colegas utiliza un método de codificación para separar el espacio latente. Esto permite que un sistema de inteligencia artificial aprenda incluso cuando las tareas no están bien definidas o cuando se desconoce la cantidad de tareas.
"Nuestro sistema de inteligencia artificial no almacena directamente datos sin procesar, como video, audio, etc., "Chai explicó." Más bien, utilizamos la memoria generativa para generar o imaginar lo que ha experimentado anteriormente. Los sistemas de IA generativos se han utilizado para crear arte, música, etc. En nuestra investigación, los usamos para codificar experiencias generativas que se pueden usar más tarde con el aprendizaje por refuerzo. Este enfoque está inspirado en los mecanismos biológicos del sueño y los sueños, donde recordamos o imaginamos fragmentos de experiencias que se refuerzan en nuestros recuerdos a largo plazo ".
En el futuro, El nuevo enfoque de memoria generativa introducido por Chai y sus colegas podría ayudar a abordar el problema del olvido catastrófico en modelos basados en redes neuronales. permitiendo el aprendizaje permanente en los sistemas de IA. Los investigadores ahora están probando su enfoque en juegos de estrategia basados en computadora que se emplean comúnmente para entrenar y evaluar sistemas de inteligencia artificial.
"Estamos utilizando juegos de estrategia en tiempo real como StarCraft2 para capacitar y estudiar a nuestros agentes de inteligencia artificial en métricas de aprendizaje permanente como la adaptación, robustez, y seguridad, ", Dijo Chai." Nuestros agentes de inteligencia artificial están entrenados con sorpresas inyectadas en el juego (por ejemplo, cambio de terreno y capacidad de la unidad) ".
© 2019 Science X Network
