• Home
  • Química
  • Astronomía
  • Energía
  • Naturaleza
  • Biología
  • Física
  • Electrónica
  •  science >> Ciencia >  >> Física
    La física de ondas como red neuronal analógica recurrente

    Comparación conceptual de un RNN estándar y un sistema físico basado en ondas. (A) Diagrama de una celda RNN que opera en una secuencia de entrada discreta y produce una secuencia de salida discreta. (B) Componentes internos de la celda RNN, que consta de matrices densas entrenables W (h), W (x), y W (y). Las funciones de activación para el estado oculto y la salida están representadas por σ (h) y σ (y), respectivamente. (C) Diagrama de la gráfica dirigida de la celda RNN. (D) Diagrama de una representación recurrente de un sistema físico continuo que opera en una secuencia de entrada continua y produce una secuencia de salida continua. (E) Componentes internos de la relación de recurrencia para la ecuación de onda cuando se discretiza usando diferencias finitas. (F) Diagrama de la gráfica dirigida de pasos de tiempo discretos del sistema físico continuo e ilustración de cómo se propaga una perturbación de onda dentro del dominio. Crédito: Avances de la ciencia , doi:10.1126 / sciadv.aay6946

    El hardware de aprendizaje automático analógico ofrece una alternativa prometedora a las contrapartes digitales como una plataforma más rápida y con mayor eficiencia energética. La física de ondas basada en la acústica y la óptica es un candidato natural para construir procesadores analógicos para señales que varían en el tiempo. En un nuevo informe sobre Avances de la ciencia Tyler W. Hughes y un equipo de investigación en los departamentos de Física Aplicada e Ingeniería Eléctrica de la Universidad de Stanford, California, identificó el mapeo entre la dinámica de la física de ondas y la computación en redes neuronales recurrentes.

    El mapa indicó la posibilidad de entrenar sistemas de ondas físicas para aprender características complejas en datos temporales utilizando técnicas de entrenamiento estándar utilizadas para redes neuronales. Como prueba de principio, demostraron un diseño inverso, medio no homogéneo para realizar la clasificación de vocales en inglés basada en señales de audio sin procesar a medida que sus formas de onda se dispersan y propagan a través de él. Los científicos lograron un rendimiento comparable a una implementación digital estándar de una red neuronal recurrente. Los hallazgos allanarán el camino para una nueva clase de plataformas de aprendizaje automático analógicas para el procesamiento de información rápido y eficiente dentro de su dominio nativo.

    La red neuronal recurrente (RNN) es un importante modelo de aprendizaje automático ampliamente utilizado para realizar tareas que incluyen el procesamiento del lenguaje natural y la predicción de series de tiempo. El equipo entrenó sistemas físicos basados ​​en ondas para funcionar como un RNN y procesar pasivamente señales e información en su dominio nativo sin conversión de analógico a digital. El trabajo dio como resultado una ganancia sustancial de velocidad y una reducción del consumo de energía. En el marco actual, en lugar de implementar circuitos para enrutar deliberadamente señales de regreso a la entrada, la relación de recurrencia se produjo naturalmente en la dinámica temporal de la física misma. El dispositivo proporcionó la capacidad de memoria para el procesamiento de información basada en las ondas a medida que se propagaban por el espacio.

    Esquema de la configuración del reconocimiento de vocales y el procedimiento de entrenamiento. (A) Formas de onda de audio sin procesar de muestras de vocales habladas de tres clases. (B) Diseño del sistema de reconocimiento de vocales. Las muestras de vocales se inyectan de forma independiente en la fuente, ubicado a la izquierda del dominio, y propagarse a través de la región central, indicado en verde, donde se optimiza una distribución de material durante el entrenamiento. La región gris oscura representa una capa límite absorbente. (C) Para la clasificación, la potencia integrada en el tiempo en cada sonda se mide y normaliza para ser interpretada como una distribución de probabilidad sobre las clases de vocales. (D) Utilizando la diferenciación automática, Se calcula el gradiente de la función de pérdida con respecto a la densidad del material en la región verde. La densidad del material se actualiza de forma iterativa, utilizando técnicas de optimización estocástica basadas en gradientes hasta la convergencia Crédito: Avances de la ciencia , doi:10.1126 / sciadv.aay6946

    Equivalencia entre la dinámica de las olas y un RNN

    Para demostrar la equivalencia entre la dinámica de las olas y un RNN, Hughes y col. introdujo la función de un RNN y su conexión con la dinámica de las olas. Por ejemplo, un RNN puede convertir una secuencia de entradas en una secuencia de salidas aplicando la misma operación básica a cada miembro de la secuencia de entrada en un proceso escalonado. El estado oculto del RNN codificará la memoria de los pasos anteriores para actualizar en cada paso. Los estados ocultos podrían retener la memoria de información pasada y aprender la estructura temporal y las dependencias de largo alcance en los datos.

    En un paso dado como ejemplo, el RNN puede funcionar en el vector de entrada actual en la secuencia (x t ) y el vector de estado oculto del paso anterior (h t - 1 ), para producir un vector de salida (y t ) y un estado oculto actualizado (h t ). Si bien existen muchas variaciones de RNN, Hughes y col. implementó una estrategia comúnmente incorporada en el presente trabajo. El equipo de investigación observó una respuesta no lineal, que se encuentra típicamente en una amplia variedad de física de olas, incluidas las olas de aguas poco profundas, materiales ópticos no lineales (estudio de luz láser intensa con materia) y acústicamente dentro de materiales blandos y fluidos burbujeantes. Cuando se modela numéricamente en tiempo discreto, la ecuación de onda definió una operación que se correspondía con la de un RNN.

    Resultados del entrenamiento de reconocimiento de vocales. Matriz de confusión sobre los conjuntos de datos de entrenamiento y prueba para la estructura inicial (A y B) y la estructura final (C y D), indicando el porcentaje de vocales predichas correctamente (en diagonal) e incorrectamente (fuera de la diagonal). Resultados de entrenamiento con validación cruzada que muestran la media (línea continua) y SD (región sombreada) de la (E) pérdida de entropía cruzada y (F) precisión de predicción durante 30 épocas de entrenamiento y cinco pliegues del conjunto de datos, que consta de un total de 279 muestras de vocales de hablantes masculinos y femeninos. (G a I) La distribución de intensidad integrada en el tiempo para una vocal de entrada (G) ae seleccionada al azar, (H) vocal ei, y (I) iy vocal. Crédito:Science Advances, doi:10.1126 / sciadv.aay6946

    Entrenando un sistema físico para clasificar vocales

    Luego, el equipo demostró cómo se podía entrenar la dinámica de la ecuación de onda para clasificar vocales mediante la construcción de una distribución de material no homogénea. Para esto, utilizaron un conjunto de datos de 930 grabaciones de audio sin procesar de 10 clases de vocales de 45 hablantes masculinos diferentes y 48 hablantes femeninos diferentes. Para la tarea de aprendizaje, Hugh y col. seleccionó un subconjunto de 279 grabaciones correspondientes a tres clases de vocales representadas por los sonidos de vocales "ae, "" ei "y" iy, "en relación con su uso en las palabras" tenía, "" hayed "y" heed ". El diseño físico del sistema de reconocimiento de vocales contenía un dominio bidimensional en el plano xy y extendido infinitamente en la dirección z. Ellos inyectaron la forma de onda de audio de cada vocal a través de una fuente en un solo Celda de cuadrícula en el lado izquierdo del dominio para emitir formas de onda para propagarse a través de una región central con una distribución entrenable de la velocidad de onda. Definieron tres sondas en el lado derecho de la región y asignaron cada una a una de las tres clases de vocales. Luego, Hugh et al., Midieron la potencia integrada en el tiempo en cada sonda para determinar la salida del sistema.

    La simulación evolucionó durante toda la duración de la grabación de vocales y el equipo incluyó una región límite absorbente representada por una región gris oscuro para evitar la acumulación de energía dentro del dominio computacional. Las velocidades de las olas podrían modificarse para corresponder a diferentes materiales en la práctica. En un entorno acústico, por ejemplo, si la distribución del material consistía en aire, la velocidad del sonido fue de 331 m / s, mientras que el caucho de silicona poroso constituía una velocidad de sonido de 150 m / s. La elección de la estructura inicial les permitió cambiar el optimizador hacia cualquiera de los dos materiales, para producir una estructura binarizada que contenga solo uno de los dos materiales. Hughes y col. entrenó el sistema realizando retropropagación a través del modelo de la ecuación de onda, en un enfoque matemáticamente equivalente al método adjunto ampliamente utilizado para el diseño inverso. Usando esta información de diseño, actualizaron la densidad del material a través del algoritmo de optimización de Adam, repitiendo hasta la convergencia en una estructura final.

    Contenido de frecuencia de las clases de vocales. La cantidad graficada es el espectro de energía media para el ae, ei, y clases de vocales. a.u., unidades arbitrarias. Crédito:Science Advances, doi:10.1126 / sciadv.aay6946

    Visualizando la actuación

    Los científicos utilizaron una matriz de confusión para visualizar el rendimiento en los conjuntos de datos de entrenamiento y prueba para las estructuras iniciales. promediado en cinco ejecuciones de entrenamiento con validación cruzada. La matriz de confusión definió el porcentaje de vocales predichas correctamente a lo largo de sus entradas diagonales y el porcentaje de vocales predichas incorrectamente para cada clase en sus entradas fuera de la diagonal. Las matrices de confusión entrenadas diagonalmente dominantes indicaron que la estructura de hecho podría realizar el reconocimiento de vocales. Hughes y col. señaló el valor de pérdida de entropía cruzada y la precisión de la predicción en función de la época de entrenamiento en los conjuntos de datos de prueba y entrenamiento.

    La primera época resultó en la mayor reducción de la función de pérdida y la mayor ganancia en precisión de predicción, con una precisión media del 92,6 por ciento en el conjunto de datos de entrenamiento y una precisión media del 86,3 por ciento en el conjunto de datos de prueba. El equipo observó que el sistema obtenía un rendimiento de predicción casi perfecto en la vocal "ae" junto con la capacidad de diferenciar la vocal "iy" de la vocal "ei", pero con menor precisión dentro de las muestras invisibles de los conjuntos de datos de prueba. De este modo, el equipo proporcionó una confirmación visual sobre el procedimiento de optimización para enrutar la mayor parte de la energía de la señal a la sonda correcta. Como referencia de rendimiento, entrenaron a un RNN convencional en la misma tarea para lograr una precisión de clasificación comparable a la ecuación de onda. Sin embargo, requerían una gran cantidad de parámetros libres para la tarea.

    De este modo, Tyler W. Hughes y sus colegas presentaron un RNN basado en ondas con una serie de cualidades favorables para formar un candidato prometedor para procesar información codificada temporalmente. El uso de la física para realizar cálculos puede inspirar una nueva plataforma para dispositivos de aprendizaje automático analógicos con el fin de realizar cálculos de manera mucho más natural y eficiente que sus contrapartes digitales. El equipo de investigación determinó el tamaño del estado oculto del RNN analógico y su capacidad de memoria utilizando el tamaño del medio de propagación. Mostraron que la dinámica de la ecuación de onda es conceptualmente equivalente a la de un RNN. La conexión conceptual allanará el camino para una nueva clase de plataformas de hardware analógico, donde la dinámica del tiempo en evolución jugará un papel importante tanto en la física como en el conjunto de datos.

    © 2020 Science X Network




    © Ciencia https://es.scienceaq.com