Una descripción general del enfoque de Vechtomova et al. Primero, se implementa una CNN para clasificar a los artistas en función de las imágenes del espectrograma, aprendiendo así las incrustaciones del artista. Luego, un VAE está capacitado para reconstruir líneas a partir de letras de canciones, condicionado a las incrustaciones de artistas pre-entrenados. En el momento de la inferencia, para generar letras al estilo de un artista deseado, los investigadores toman z del espacio latente y lo decodifican condicionado a la incorporación de ese artista. Crédito:Vechtomova et al.
Investigadores de la Universidad de Waterloo, Canadá, Recientemente, han desarrollado un sistema para generar letras de canciones que coinciden con el estilo de artistas musicales particulares. Su enfoque descrito en un artículo publicado previamente en arXiv, utiliza un codificador automático variacional (VAE) con incrustaciones de artistas y un clasificador de CNN capacitado para predecir artistas a partir de espectrogramas MEL de sus clips de canciones.
"La motivación para este proyecto provino de mi interés personal, "Olga Vechtomova, uno de los investigadores que realizó el estudio, dijo a TechXplore. "La música es una de mis pasiones, y tenía curiosidad por saber si una máquina puede generar líneas que suenen como las letras de mis artistas musicales favoritos. Mientras trabajaba en modelos generativos de texto, mi grupo de investigación descubrió que las redes neuronales pueden generar algunas líneas de texto impresionantes. El siguiente paso natural para nosotros fue explorar si una máquina podría aprender la 'esencia' del estilo lírico de un artista musical específico, incluida la elección de palabras, temas y estructura de la oración, para generar líneas de letras novedosas que suenen como el artista en cuestión ".
El sistema desarrollado por Vechtomova y sus colegas se basa en un modelo de red neuronal llamado autoencoder variacional (VAE), que puede aprender reconstruyendo líneas originales de texto. En su estudio, los investigadores entrenaron su modelo para generar cualquier número de nuevos líneas líricas diversas y coherentes.
"Para generar líneas al estilo de un artista determinado, condicionamos la generación a la incrustación de un artista (es decir, un vector multidimensional de números reales), aprendido por una red neuronal separada, que está capacitado para clasificar espectrogramas de clips de audio musicales por artistas, ", Dijo Vechtomova." Luego usamos las incrustaciones del artista para condicionar la generación de líneas de letras en el estilo de cada artista. La motivación detrás de esto es que queremos que las diferencias entre las incrustaciones de artistas reflejen las diferencias en sus estilos tanto líricos como musicales ".
En una serie de evaluaciones preliminares, el sistema desarrollado por Vechtomova y sus colegas funcionó notablemente bien. Sus hallazgos sugieren que las incrustaciones de artistas son útiles para generar letras que coincidan con el estilo de un artista. Muchas líneas generadas por el modelo estaban inequívocamente alineadas con el artista al que estaba condicionado, reflejando los temas generalmente abordados en su música.
Dos poemas generados por el sistema e incluidos en la colección presentada al Workshop de NeurIPS 2018 sobre ML para la Creatividad y el Diseño. Vechtomova creó cada poema seleccionando líneas generadas por VAE y ordenándolas de una manera artísticamente significativa. No se realizó ninguna edición en las líneas individuales, excepto para agregar mayúsculas y signos de puntuación. Crédito:Vechtomova.
"Si bien las líneas generadas a menudo contienen las palabras de un artista, estos se utilizan de una manera nueva e interesante, expresar pensamientos novedosos que no se encuentran en la letra original, Vechtomova explicó. "Algunas de las líneas generadas transmiten imágenes poéticas nuevas y poderosas, expresado utilizando recursos estilísticos como metáforas y oxímorones, sin dejar de ser fiel al estilo del artista ".
En el futuro, el sistema creado por Vechtomova y sus colegas podría usarse para inspirar a los artistas que están componiendo letras para nuevas canciones. En lugar de reemplazar a los compositores líricos, los investigadores esperan que proporcione nuevas ideas, que luego los artistas pueden moldear, construir y desarrollar de forma independiente.
"El sistema no está destinado a reemplazar a un artista musical, pero para ser utilizado como fuente de inspiración durante el proceso de composición, ", Dijo Vechtomova." En el mundo de la música, esto podría ser análogo a un sintetizador que puede generar un número infinito de sonidos, a partir del cual un artista luego crea una canción. Similar, esta herramienta puede generar un número infinito de líneas novedosas que los artistas pueden utilizar de la forma que deseen para componer sus propias letras ".
Como parte de un proyecto diferente, Vechtomova utilizó el mismo sistema para generar poesía intrigante al estilo de diferentes artistas musicales. La colección de poemas resultante fue aceptada como obra de arte en el Taller de NeurIPS 2018 sobre aprendizaje automático para la creatividad y el diseño.
"En el futuro, planeamos trabajar en modelos que puedan aprender nuevos temas y vocabulario de fuentes adicionales, y utilícelos para generar letras al estilo de un artista determinado, ", Dijo Vechtomova." También me gustaría explorar cómo un sistema de este tipo podría ser utilizado por los artistas musicales como fuente de inspiración ".
© 2019 Science X Network
