En este modelo de neurona, la neurona aprende ajustando los pesos de sus conexiones con otras neuronas. Crédito:Goldt et al. © 2017 Sociedad Estadounidense de Física
(Phys.org) —Mientras investiga la eficacia con la que el cerebro puede aprender nueva información, los físicos han descubierto que, a nivel neuronal, En última instancia, la eficiencia del aprendizaje está limitada por las leyes de la termodinámica, los mismos principios que limitan la eficiencia de muchos otros procesos familiares.
"El mayor significado de nuestro trabajo es que llevamos la segunda ley de la termodinámica al análisis de redes neuronales, "Sebastian Goldt de la Universidad de Stuttgart, Alemania, dicho Phys.org . "La segunda ley es una declaración muy poderosa sobre qué transformaciones son posibles, y el aprendizaje es solo una transformación de una red neuronal a expensas de la energía. Esto hace que nuestros resultados sean bastante generales y nos lleva un paso hacia la comprensión de los límites finales de la eficiencia de las redes neuronales ".
Goldt y el coautor Udo Seifert han publicado un artículo sobre su trabajo en un número reciente de Cartas de revisión física .
Dado que toda la actividad cerebral está ligada a la activación de miles de millones de neuronas, a nivel neuronal, la pregunta de "¿con qué eficacia podemos aprender?" se convierte en la pregunta de "¿con qué eficacia puede una neurona ajustar su señal de salida en respuesta a los patrones de señales de entrada que recibe de otras neuronas?" A medida que las neuronas mejoran al dispararse en respuesta a ciertos patrones, los pensamientos correspondientes se refuerzan en nuestro cerebro, como implica el adagio "fuego juntos, cablear juntos ".
En el nuevo estudio, los científicos demostraron que la eficiencia del aprendizaje está limitada por la producción de entropía total de una red neuronal. Demostraron que, cuanto más lento aprende una neurona, cuanto menos calor y entropía produce, aumentando su eficiencia. A la luz de este hallazgo, los científicos introdujeron una nueva medida de la eficiencia del aprendizaje basada en los requisitos energéticos y la termodinámica.
Como los resultados son muy generales, se pueden aplicar a cualquier algoritmo de aprendizaje que no utilice retroalimentación, como los que se utilizan en las redes neuronales artificiales.
"Tener una perspectiva termodinámica de las redes neuronales nos brinda una nueva herramienta para pensar en su eficiencia y nos brinda una nueva forma de calificar su desempeño, "Dijo Goldt." Encontrar la red neuronal artificial óptima con respecto a esa clasificación es una posibilidad emocionante, y también todo un desafío ".
En el futuro, los investigadores planean analizar la eficiencia de los algoritmos de aprendizaje que emplean retroalimentación, así como investigar la posibilidad de probar experimentalmente el nuevo modelo.
"Por un lado, Actualmente estamos investigando qué nos puede enseñar la termodinámica sobre otros problemas de aprendizaje, "Dijo Goldt." Al mismo tiempo, estamos buscando formas de hacer que nuestros modelos y, por lo tanto, nuestros resultados sean más generales. ¡Es un momento emocionante para trabajar en redes neuronales! "
© 2017 Phys.org
