Fig. 1. La canalización de Score Stamper. Una película se divide en segmentos de cinco segundos que no se superponen. Para cada segmento, Dejavu predecirá si se está reproduciendo una pista de la banda sonora de la película. Las señales, o instancias del uso de una canción en una película, se construyen combinando predicciones de ventana. En este ejemplo, la señal "Cantina Band" dura 15 segundos porque Dejavu la predijo en dos ventanas cercanas. Crédito:DOI:10.1371/journal.pone.0249957
La música es un elemento indispensable en el cine:establece la atmósfera y el estado de ánimo, impulsa las reacciones emocionales del espectador e influye significativamente en la interpretación de la historia por parte del público.
En un artículo reciente publicado en PLOS ONE , un equipo de investigación de la Escuela de Ingeniería Viterbi de la USC, dirigido por el profesor Shrikanth Narayanan, buscó examinar objetivamente el efecto de la música en los géneros cinematográficos. Su estudio tenía como objetivo determinar si la tecnología basada en IA podía predecir el género de una película basándose únicamente en la banda sonora.
"Al comprender mejor cómo la música afecta la percepción que tiene el espectador de una película, obtenemos información sobre cómo los creadores de películas pueden llegar a su audiencia de una manera más convincente", dijo Narayanan, profesor universitario y catedrático de ingeniería Niki y Max Nikias, profesor de electricidad y ingeniería informática y ciencias de la computación y director del Laboratorio de Interpretación y Análisis de Señales (SAIL) de la USC Viterbi.
La noción de que es más probable que los diferentes géneros cinematográficos usen ciertos elementos musicales en su banda sonora es bastante intuitiva:un romance alegre puede incluir ricos pasajes de cuerdas y melodías exuberantes y líricas, mientras que una película de terror puede presentar frecuencias inquietantes y penetrantes y notas inquietantemente discordantes. .
Pero si bien el trabajo anterior indica cualitativamente que los diferentes géneros cinematográficos tienen sus propios conjuntos de convenciones musicales, convenciones que hacen que la película romántica suene diferente de la película de terror, Narayanan y su equipo se propusieron encontrar evidencia cuantitativa de que los elementos de la banda sonora de una película podrían usarse para caracterizan el género de la película.
El estudio de Narayanan y su equipo fue el primero en aplicar modelos de aprendizaje profundo a la música utilizada en una película para ver si una computadora podía predecir el género de una película basándose únicamente en la banda sonora. Descubrieron que estos modelos podían clasificar con precisión el género de una película mediante el aprendizaje automático, lo que respalda la idea de que las características musicales pueden ser indicadores poderosos de cómo percibimos las diferentes películas.
Según Timothy Greer, Ph.D. estudiante de USC Viterbi en el departamento de informática que trabajó con Narayanan en el estudio, su trabajo podría tener aplicaciones valiosas para las empresas de medios y los creadores para comprender cómo la música puede mejorar otras formas de medios. Podría brindar a las productoras y supervisores musicales una mejor comprensión de cómo crear y colocar música en televisión, películas, anuncios y documentales para provocar ciertas emociones en los espectadores.
Además de Narayanan y Greer, el equipo de investigación del estudio incluyó a Dillon Knox, Ph.D. estudiante en el departamento de ingeniería eléctrica e informática, y Benjamin Ma, quien se graduó de la USC en 2021 con un B.S. en informática, una maestría en informática y una especialización en producción musical. (Ma también fue nombrada una de las dos Becas Schwarzman de la USC de 2021). El equipo trabajó en el Centro de Inteligencia de Medios Computacionales, un grupo de investigación en SAIL.
Predicción del género a partir de la banda sonora
En su estudio, el grupo examinó un conjunto de datos de 110 películas populares estrenadas entre 2014 y 2019. Usaron la clasificación de género que figura en la base de datos de películas de Internet (IMDb) para etiquetar cada película como acción, comedia, drama, terror, romance o ciencia. -ficción, con muchas de las películas que abarcan más de uno de estos géneros.
Luego, aplicaron una red de aprendizaje profundo que extrajo la información auditiva, como timbre, armonía, melodía, ritmo y tono de la música y la partitura de cada película. Esta red usó el aprendizaje automático para analizar estas características musicales y demostró ser capaz de clasificar con precisión el género de cada película basándose únicamente en estas características.
El grupo también interpretó estos modelos para determinar qué características musicales eran más indicativas de las diferencias entre géneros. Los modelos no brindaron detalles sobre qué tipos de notas o instrumentos se asociaron con cada género, pero pudieron establecer que las características tonales y tímbricas eran las más importantes para predecir el género de la película.
"Establecer esta base es realmente emocionante porque ahora podemos ser más precisos en el tipo de preguntas que queremos hacer sobre cómo se usa la música en el cine", dijo Knox. "La experiencia cinematográfica en general es muy complicada y poder analizar computacionalmente su impacto y las opciones y tendencias que intervienen en su construcción es muy emocionante".
Direcciones futuras
Narayanan y su equipo examinaron la información auditiva de cada película utilizando una tecnología conocida como huella digital de audio, la misma tecnología que permite a servicios como Shazam identificar canciones de una base de datos al escuchar grabaciones, incluso cuando hay efectos de sonido u otro ruido de fondo presente. Esta tecnología les permitió ver dónde ocurren las señales musicales en una película y durante cuánto tiempo.
"El uso de huellas dactilares de audio para escuchar todo el audio de la película nos permitió superar una limitación de los estudios de música de películas anteriores, que generalmente solo miraban el álbum completo de la banda sonora de la película sin saber si las canciones del álbum aparecen en la película o cuándo. " dijo mamá. En el futuro, el grupo está interesado en aprovechar esta capacidad para estudiar cómo se usa la música en momentos específicos de una película y cómo las señales musicales dictan cómo evoluciona la narrativa de la película a lo largo de su transcurso.
"Con el acceso cada vez mayor tanto al cine como a la música, nunca ha sido más crucial estudiar cuantitativamente cómo nos afecta este medio", dijo Greer. "Comprender cómo funciona la música junto con otras formas de medios puede ayudarnos a idear mejores experiencias de visualización y hacer arte que sea conmovedor e impactante".
