Los investigadores de la Universidad Estatal de Carolina del Norte han desarrollado una técnica que reduce el tiempo de entrenamiento para las redes de aprendizaje profundo en más del 60 por ciento sin sacrificar la precisión. acelerar el desarrollo de nuevas aplicaciones de inteligencia artificial (IA).

"Las redes de aprendizaje profundo están en el corazón de las aplicaciones de inteligencia artificial que se utilizan en todo, desde automóviles autónomos hasta tecnologías de visión por computadora, "dice Xipeng Shen, profesor de informática en NC State y coautor de un artículo sobre el trabajo.

"Uno de los mayores desafíos que enfrenta el desarrollo de nuevas herramientas de inteligencia artificial es la cantidad de tiempo y la potencia informática que se necesita para capacitar a las redes de aprendizaje profundo para identificar y responder a los patrones de datos que son relevantes para sus aplicaciones. forma de acelerar ese proceso, lo que llamamos Adaptive Deep Reuse. Hemos demostrado que puede reducir los tiempos de entrenamiento hasta en un 69 por ciento sin pérdida de precisión ".

Entrenar una red de aprendizaje profundo implica dividir una muestra de datos en trozos de puntos de datos consecutivos. Piense en una red diseñada para determinar si hay un peatón en una imagen determinada. El proceso comienza dividiendo una imagen digital en bloques de píxeles adyacentes entre sí. Cada fragmento de datos se ejecuta a través de un conjunto de filtros computacionales. Luego, los resultados se pasan por un segundo conjunto de filtros. Esto continúa iterativamente hasta que todos los datos se hayan ejecutado a través de todos los filtros, permitiendo que la red llegue a una conclusión sobre la muestra de datos.

Cuando se haya realizado este proceso para cada muestra de datos en un conjunto de datos, eso se llama una época. Para ajustar una red de aprendizaje profundo, es probable que la red funcione con el mismo conjunto de datos durante cientos de épocas. Y muchos conjuntos de datos constan de entre decenas de miles y millones de muestras de datos. Muchas iteraciones de muchos filtros que se aplican a una gran cantidad de datos significa que entrenar una red de aprendizaje profundo requiere mucha potencia informática.

El momento decisivo para el equipo de investigación de Shen llegó cuando se dio cuenta de que muchos de los fragmentos de datos en un conjunto de datos son similares entre sí. Por ejemplo, un parche de cielo azul en una imagen puede ser similar a un parche de cielo azul en otra parte de la misma imagen oa un parche de cielo en otra imagen del mismo conjunto de datos.

Al reconocer estos fragmentos de datos similares, una red de aprendizaje profundo podría aplicar filtros a un fragmento de datos y aplicar los resultados a todos los fragmentos de datos similares en el mismo conjunto, ahorrando mucha potencia informática.

"No solo pudimos demostrar que existen estas similitudes, pero que podemos encontrar estas similitudes para obtener resultados intermedios en cada paso del proceso, "dice Lin Ning, un doctorado estudiante de NC State y autor principal del artículo. "Y pudimos maximizar esta eficiencia mediante la aplicación de un método llamado hash sensible a la localidad".

Pero esto plantea dos preguntas adicionales. ¿Qué tamaño debe tener cada fragmento de datos? ¿Y qué umbral deben alcanzar los fragmentos de datos para que se consideren "similares"?

Los investigadores descubrieron que el enfoque más eficiente era comenzar mirando porciones relativamente grandes de datos utilizando un umbral relativamente bajo para determinar la similitud. En épocas posteriores, los fragmentos de datos se vuelven más pequeños y el umbral de similitud más estricto, mejorar la precisión de la red de aprendizaje profundo. Los investigadores diseñaron un algoritmo adaptativo que implementa automáticamente estos cambios incrementales durante el proceso de entrenamiento.

Para evaluar su nueva técnica, los investigadores lo probaron utilizando tres redes de aprendizaje profundo y conjuntos de datos que son ampliamente utilizados como bancos de pruebas por los investigadores de aprendizaje profundo:CifarNet usando Cifar10; AlexNet usando ImageNet; y VGG-19 usando ImageNet.

Adaptive Deep Reuse redujo el tiempo de entrenamiento para AlexNet en un 69 por ciento; para VGG-19 en un 68 por ciento; y para CifarNet en un 63 por ciento, todo sin pérdida de precisión.

"Esto demuestra que la técnica reduce drásticamente los tiempos de entrenamiento, "dice Hui Guan, un doctorado estudiante de NC State y coautor del artículo. "También indica que cuanto más grande es la red, cuanto más Adaptive Deep Reuse es capaz de reducir los tiempos de entrenamiento, ya que AlexNet y VGG-19 son sustancialmente más grandes que CifarNet ".

"Creemos que Adaptive Deep Reuse es una herramienta valiosa, y esperamos trabajar con la industria y los socios de investigación para demostrar cómo se puede utilizar para promover la IA, "Shen dice.

El papel, "Adaptive Deep Reuse:Acelerando el entrenamiento de CNN sobre la marcha, "se presentará en la 35a Conferencia Internacional IEEE sobre Ingeniería de Datos, que se celebrará del 8 al 11 de abril en la RAE de Macao, Porcelana.