Emilia Gómez, investigador del Grupo de Investigación en Tecnología Musical (MTG) del Departamento de Tecnologías de la Información y las Comunicaciones (DTIC) de la UPF, ha intentado crear nuevos enfoques digitales para enriquecer la experiencia de un concierto de música clásica antes, durante y después del concierto en sí, para acercar la música clásica a nuevos públicos de forma innovadora a través de la tecnología.

“Una de las aplicaciones que investigamos en el contexto posterior al concierto fue un tipo de instalación en la que el usuario asume el rol de director para que sus movimientos 'dirijan' una orquesta virtual. Este tipo de instalación ha tenido éxito en lugares como la Casa de la Música de Viena, "dice Álvaro Sarasúa, primer autor de un estudio publicado el 25 de febrero en la revista Fronteras en humanidades digitales , liderado por Emilia Gómez.

En la interacción humano-computadora, Las metáforas de la interfaz proporcionan a los usuarios una forma de interactuar con la máquina que se asemeja a una actividad conocida. Estas metáforas se utilizan ampliamente en instrumentos musicales digitales. En este estudio, los autores utilizaron la metáfora del director. El interés de utilizar estas metáforas es que el usuario, en una instalación virtual en la que controlar el tempo y la dinámica en la que toca una orquesta, pueden aplicar sus conocimientos o su intuición previa sobre cómo funciona una determinada actividad en el mundo real; en este caso, dirigiendo una orquesta.

"Desde el punto de vista de la investigación, en este estudio, estábamos interesados ​​en determinar cómo las nociones intuitivas disponibles para los usuarios de este tipo de instalaciones pueden ser utilizadas explícitamente por el sistema para responder a sus gestos de dirigir una orquesta de manera más intuitiva, y por lo tanto, puede proporcionar una interpretación más expresiva, "dice Sarasúa.

En las etapas iniciales del proyecto, Los investigadores realizaron estudios observacionales en los que pidieron a personas con diferentes grados de formación musical que escucharan varios extractos de música clásica y luego, mientras la música sonaba de nuevo, para hacer movimientos corporales que harían mientras dirigen una orquesta para comunicar varios aspectos como el tempo y la intensidad. Grabaron los movimientos de los participantes usando una cámara Kinect, que registró la posición de varias partes del cuerpo.

Diferentes tendencias interpretativas observadas

El análisis de estos datos reveló diferentes tendencias entre sujetos. Por un lado, para comunicar el tempo de la música, había personas que comunicaban constantemente el ritmo un poco por delante del tempo de la música, mientras que otros lo hicieron en total sincronía o con cierta demora. En cuanto a la dinámica con la que tocaron los instrumentos, Algunas personas tendían a moverse con más energía durante las partes fuertes, mientras que otros simplemente levantaron más los brazos.

"Nuestra hipótesis de partida para este estudio fue que un sistema que permite controlar el tempo y el volumen de una pieza musical mediante movimientos que imitan a los de un director puede ser más intuitivo si se puede adaptar a estas tendencias personales, "explica Sarasúa

"En el ejemplo de nuestro experimento, hay una ventaja 'implícita' al usar la metáfora, en eso al decirle al usuario que debe 'dirigir' la orquesta, saben que deben mover los brazos y tienen cierta intuición en cuanto a su capacidad para controlar el ritmo y la dinámica. Usando el sistema propuesto, esta mejora es más explícita en el sentido de que el sistema observa y analiza lo que el usuario siente que debe hacer y se adapta para hacerlo de acuerdo con estas intuiciones ".

Los autores se refieren a esta estrategia como mapeo por observación, desde el mapeo, o la forma en que los movimientos del usuario están conectados a la música resultante, se adapta específicamente a cada usuario al observar lo que hace cuando se le pide que realice movimientos imitando a un director sin dar instrucciones específicas.

Al evaluar el sistema, los investigadores observaron a 24 participantes que se desempeñaron primero con un sistema de referencia que no se adaptaba a cada usuario, y luego un sistema basado en la estrategia de mapeo, y comparó los resultados. Esta comparación se realizó en un contexto en el que los usuarios aprendieron a "dirigir" la orquesta virtual a través de la práctica. Los dos sistemas fueron comparados en base a medidas objetivas y subjetivas en una serie de tareas en las que los participantes debían hacer que la orquesta tocara a diferentes volúmenes y hacerlo en sincronía con el metrónomo en diferentes tempos.

La usabilidad del sistema a medida es mejor

Los resultados del experimento mostraron que la usabilidad del sistema a medida es mejor, tanto en términos de proporcionar un control más intuitivo de la dinámica con la que el usuario dirige la orquesta, y en términos de tener un control más preciso sobre el tempo. Es más, los resultados también muestran una fuerte correlación entre las medidas que se pueden extraer de los datos utilizados para realizar la adaptación y mejora introducida por el sistema, lo que indica que es posible estimar de antemano hasta qué punto los movimientos espontáneos de un determinado usuario serán realmente útiles para adaptar el sistema a su estilo.

Los hallazgos de este estudio son particularmente relevantes en contextos donde la interacción se diseña a partir del uso de metáforas de interfaz, como es el caso del director de orquesta. "En el ejemplo de nuestro experimento, hay una ventaja "implícita" en el uso de la metáfora, en eso al decirle al usuario que debe "dirigir" la orquesta, saben que deben mover los brazos y tienen cierta intuición para controlar el ritmo y la dinámica. Usando el sistema propuesto, esta mejora es más 'explícita' en el sentido de que el sistema observa y analiza lo que el usuario siente que debe hacer y se adapta para actuar de acuerdo con estas intuiciones, "concluyen los autores.