Investigadores del Instituto de Sistemas de Inteligencia Cibernética de la Universidad Nacional de Investigación Nuclear MEPhI (Rusia) han desarrollado recientemente un nuevo modelo de aprendizaje para la máquina de Boltzmann restringida (una red neuronal), que optimiza los procesos de codificación semántica, visualización y reconocimiento de datos. Los resultados de esta investigación se publican en la revista Memoria óptica y redes neuronales .

Hoy dia, redes neuronales profundas con diferentes arquitecturas, como convolucional, redes recurrentes y de codificador automático, se están convirtiendo en un área de investigación cada vez más popular. Varias empresas de alta tecnología, incluidos Microsoft y Google, están utilizando redes neuronales profundas para diseñar sistemas inteligentes.

En los sistemas de aprendizaje profundo, los procesos de selección y configuración de funciones están automatizados, lo que significa que las redes pueden elegir entre los algoritmos más efectivos para la extracción de características jerárquicas por sí mismas. El aprendizaje profundo se caracteriza por aprender con la ayuda de grandes muestras utilizando un único algoritmo de optimización. Los algoritmos de optimización típicos configuran los parámetros de todas las operaciones simultáneamente, y estimar eficazmente el efecto de cada parámetro de la red neuronal sobre el error con la ayuda del llamado método de retropropagación.

"La capacidad de las redes neuronales para aprender por sí mismas es una de sus propiedades más intrigantes, "explicó Vladimir Golovko, profesor del Instituto MEPhI de Sistemas de Inteligencia Cibernética. "Al igual que los sistemas biológicos, las redes neuronales pueden modelarse a sí mismas, buscando desarrollar el mejor modelo de comportamiento posible ".

En 2006, La esfera del entrenamiento de redes neuronales vio un gran avance cuando Geoffrey Hinton publicó un artículo de investigación sobre el entrenamiento previo de redes neuronales. Afirmó que las redes neuronales multicapa podrían entrenarse previamente entrenando una capa a la vez con la ayuda de la máquina de Boltzmann restringida y luego ajustándolas mediante retropropagación. Estas redes se denominaron redes de creencias profundas, o DBN.

Golovko analizó los principales problemas y paradigmas del aprendizaje automático profundo y sugirió un nuevo método de aprendizaje para la máquina restringida de Boltzmann. El investigador demostró que la regla clásica de entrenamiento de esta red neuronal es un caso particular del método que desarrolló.

"Los científicos estadounidenses Minsky y Papert demostraron una vez que, desde el punto de vista de la clasificación de patrones, el perceptrón de una sola capa con la función de activación de umbral forma una superficie de separación lineal, que es la razón por la que no puede resolver el problema 'exclusivo o', "Golovko anotó." Esto llevó a conclusiones pesimistas sobre el mayor desarrollo de las redes neuronales. Sin embargo, la última afirmación solo es cierta para un perceptrón de una sola capa con un umbral o una función de activación continua monótona, por ejemplo, una función sigmoidea. Cuando uno usa la función de activación de señal, el perceptrón de una sola capa puede resolver el problema 'exclusivo o', ya que puede dividir el área de unos y ceros en clases con la ayuda de dos líneas rectas ".

La investigación también involucró un análisis de las perspectivas de usar redes neuronales profundas para la compresión, visualización y reconocimiento de datos. Es más, Golovko también sugirió un nuevo enfoque para la implementación de la codificación semántica, o hash, que se basa en el uso de redes neuronales autoasociativas profundas.

Este método de aprendizaje profundo puede resultar muy útil para entrenar las redes neuronales de los motores de búsqueda, el autor declara, ya que mejorará la velocidad de búsqueda de imágenes relevantes.

Estos hallazgos tienen un gran valor práctico:ya han encontrado aplicación en las esferas de la visión por computadora, reconocimiento de voz y bioinformática.