Los investigadores han desarrollado un nuevo marco para las redes neuronales profundas que permite que los sistemas de inteligencia artificial (IA) aprendan mejor las nuevas tareas y "olviden" menos de lo que han aprendido con respecto a las tareas anteriores. Los investigadores también han demostrado que usar el marco para aprender una nueva tarea puede hacer que la IA realice mejor las tareas anteriores. un fenómeno llamado transferencia hacia atrás.

"Las personas son capaces de aprender continuamente; aprendemos nuevas tareas todo el tiempo, sin olvidar lo que ya sabemos, "dice Tianfu Wu, profesor asistente de ingeniería eléctrica e informática en NC State y coautor de un artículo sobre el trabajo. "Hasta la fecha, Los sistemas de inteligencia artificial que utilizan redes neuronales profundas no han sido muy buenos en esto ".

"Los sistemas de inteligencia artificial de redes neuronales profundas están diseñados para aprender tareas limitadas, "dice Xilai Li, coautor principal del artículo y Ph.D. candidato en NC State. "Como resultado, una de varias cosas puede suceder al aprender nuevas tareas. Los sistemas pueden olvidar tareas antiguas cuando aprenden otras nuevas, que se llama olvido catastrófico. Los sistemas pueden olvidar algunas de las cosas que sabían sobre tareas antiguas, sin aprender a hacer otros nuevos también. O los sistemas pueden arreglar tareas antiguas en su lugar mientras agregan nuevas tareas, lo que limita la mejora y conduce rápidamente a un sistema de inteligencia artificial que es demasiado grande para operar de manera eficiente. Aprendizaje continuo también llamado aprendizaje permanente o aprender a aprender, está intentando solucionar el problema ".

"Hemos propuesto un nuevo marco para el aprendizaje continuo, que desacopla el aprendizaje de la estructura de la red y el aprendizaje de los parámetros del modelo, "dice Yingbo Zhou, coautor principal del artículo y científico investigador en Salesforce Research. "Lo llamamos el marco de aprendizaje para crecer. En las pruebas experimentales, hemos descubierto que supera los enfoques anteriores de aprendizaje continuo ".

Para comprender el marco de Aprender a crecer, Piense en las redes neuronales profundas como una tubería llena de múltiples capas. Los datos sin procesar van a la parte superior de la tubería, y los resultados de las tareas salen al final. Cada "capa" de la tubería es un cálculo que manipula los datos para ayudar a la red a realizar su tarea. como identificar objetos en una imagen digital. Hay varias formas de organizar las capas en la tubería, que corresponden a diferentes "arquitecturas" de la red.

Al pedirle a una red neuronal profunda que aprenda una nueva tarea, El marco Learn to Grow comienza con la realización de algo llamado optimización explícita de la arquitectura neuronal a través de la búsqueda. Lo que esto significa es que a medida que la red llega a cada capa de su sistema, puede decidir hacer una de estas cuatro cosas:omitir la capa; use la capa de la misma manera que la usaron las tareas anteriores; adjuntar un adaptador ligero a la capa, que lo modifica levemente; o cree una capa completamente nueva.

Esta optimización de la arquitectura presenta de forma eficaz la mejor topología, o serie de capas, necesario para realizar la nueva tarea. Una vez que esto esté completo, la red utiliza la nueva topología para capacitarse sobre cómo realizar la tarea, como cualquier otro sistema de inteligencia artificial de aprendizaje profundo.

"Hemos realizado experimentos con varios conjuntos de datos, y lo que hemos descubierto es que cuanto más similar es una nueva tarea a las tareas anteriores, cuanto más superposición haya en términos de las capas existentes que se mantienen para realizar la nueva tarea, "Li dice." Lo que es más interesante es que, con la topología optimizada - o "aprendida" - una red entrenada para realizar nuevas tareas olvida muy poco de lo que necesitaba para realizar las tareas más antiguas, incluso si las tareas anteriores no eran similares ".

Los investigadores también realizaron experimentos comparando la capacidad del marco Learn to Grow para aprender nuevas tareas con varios otros métodos de aprendizaje continuo. y descubrió que el marco Learn to Grow tenía una mayor precisión al completar nuevas tareas.

Para probar cuánto puede haber olvidado cada red al aprender la nueva tarea, Luego, los investigadores probaron la precisión de cada sistema para realizar las tareas más antiguas, y el marco Learn to Grow nuevamente superó a las otras redes.

"En algunos casos, el marco Learn to Grow realmente mejoró en el desempeño de las tareas anteriores, "dice Caiming Xiong, el director de investigación de Salesforce Research y coautor del trabajo. "Esto se llama transferencia hacia atrás, y ocurre cuando descubres que aprender una nueva tarea te hace mejor en una tarea anterior. Vemos esto en la gente todo el tiempo; no tanto con la IA ".

El papel, "Aprender a crecer:un marco de aprendizaje de estructura continua para superar el olvido catastrófico, "se presentará en la 36ª Conferencia Internacional sobre Aprendizaje Automático, que se llevará a cabo del 9 al 15 de junio en Long Beach, California.