Los avances en las imágenes generadas por computadora han traído vívidos, animaciones realistas a la vida, pero los sonidos asociados con lo que vemos simulado en la pantalla, como dos objetos que chocan, a menudo son grabaciones. Ahora, los investigadores de la Universidad de Stanford han desarrollado un sistema que genera automáticamente sonidos precisos para una amplia variedad de fenómenos animados.

"Ha habido un Santo Grial en la informática de poder simular la realidad para los humanos. Podemos animar escenas y renderizarlas visualmente con gráficos físicos y de computadora, pero, en cuanto a sonidos, por lo general se componen, "dijo Doug James, profesor de informática en la Universidad de Stanford. "Actualmente no existe ninguna forma de generar sonidos sincronizados realistas para contenido animado complejo, como salpicaduras de agua o choques de objetos, automáticamente. Esto llena ese vacío ".

Los investigadores presentarán su trabajo en este sistema de síntesis de sonido como parte de ACM SIGGRAPH 2018, la conferencia líder sobre gráficos por computadora y técnicas interactivas. Además de animar películas y mundos de realidad virtual, Este sistema también podría ayudar a las empresas de ingeniería a crear prototipos de cómo sonarían los productos antes de ser producidos físicamente. y, con suerte, alentar diseños que sean más silenciosos y menos irritantes, dijeron los investigadores.

"He pasado años tratando de resolver ecuaciones diferenciales parciales, que gobiernan cómo se propaga el sonido, a mano, "dijo Jui-Hsien Wang, estudiante de posgrado en el laboratorio de James y en el Instituto de Ingeniería Computacional y Matemática (ICME), y autor principal del artículo. "Este es en realidad un lugar donde no solo resuelves la ecuación, sino que puedes escucharla una vez que la has hecho. Eso es realmente emocionante para mí y es divertido".

Predicción de sonido

Informado por la geometría y el movimiento físico, el sistema descubre las vibraciones de cada objeto y cómo, como un altavoz, esas vibraciones excitan las ondas sonoras. Calcula las ondas de presión desprendidas por superficies que se mueven rápidamente y vibran, pero no replica la acústica de la habitación. Entonces, aunque no recrea los ecos de una gran catedral, puede resolver sonidos detallados de escenarios como un platillo chocando, un cuenco al revés que gira hasta detenerse, un vaso llenándose de agua o un personaje virtual hablando por un megáfono.

La mayoría de los sonidos asociados con las animaciones se basan en clips pregrabados, que requieren un gran esfuerzo manual para sincronizarse con la acción en pantalla. Estos clips también están restringidos a los ruidos que existen, no pueden predecir nada nuevo. Otros sistemas que producen y predicen sonidos tan precisos como los de James y su equipo funcionan solo en casos especiales, o asumir que la geometría no se deforma mucho. También requieren una larga fase de precálculo para cada objeto por separado.

"El nuestro es esencialmente un botón de renderizado con un preprocesamiento mínimo que trata todos los objetos juntos en una simulación de onda acústica, "dijo Ante Qu, estudiante de posgrado en el laboratorio de James y coautor del artículo.

El sonido simulado que resulta de este método es muy detallado. Tiene en cuenta las ondas sonoras producidas por cada objeto en una animación, pero también predice cómo se doblan esas ondas, rebotar o amortiguar en función de sus interacciones con otros objetos y ondas de sonido en la escena.

Desafíos adelante

En su forma actual, El proceso del grupo lleva un tiempo para crear el producto terminado. Pero, ahora que han demostrado el potencial de esta técnica, pueden centrarse en optimizaciones de rendimiento, como implementar su método en hardware GPU paralelo, eso debería hacerlo drásticamente más rápido.

Y, incluso en su estado actual, los resultados valen la pena esperar.

"Los primeros sonidos de agua que generamos con el sistema estuvieron entre los mejores que habíamos simulado, y el agua es un gran desafío en el sonido generado por computadora, "dijo James." Pensamos que podríamos mejorar un poco, pero es dramáticamente mejor que los enfoques anteriores incluso desde el primer momento. Fue realmente sorprendente ".

Aunque el trabajo del grupo ha reproducido fielmente los sonidos de varios objetos girando, cayendo y chocando unos contra otros, Los objetos e interacciones más complejos, como los tonos reverberantes de un violín Stradivarius, siguen siendo difíciles de modelar de manera realista. Ese, el grupo dijo, Tendrá que esperar una solución futura.