En un mundo de fotógrafos y videógrafos novatos, capturar una avalancha de contenido a través de sus teléfonos inteligentes y dispositivos de mano, hay una necesidad de un inteligente, Herramienta fácil de usar para automatizar la creación de películas y montajes de video. Hasta la fecha, muchos videos de calidad aún dependen de herramientas profesionales de edición basadas en cuadros para manipular metraje en bruto y producir un video coherente con una historia cautivadora.

Un equipo global de informáticos, de las universidades de Tsinghua y Beihang en China, Universidad de Harvard en los EE. UU. E IDC Herzliya en Israel, han desarrollado "Write-A-Video, "una nueva herramienta que genera videos a partir de texto temático. Usando palabras y edición de texto, la herramienta determina automáticamente qué escenas o tomas se eligen de un repositorio para ilustrar la trama deseada. La herramienta permite a los usuarios novatos producir montajes de video de calidad de una manera simple y fácil de usar que no requiere habilidades profesionales de producción y edición de videos.

El equipo está listo para presentar su trabajo en ACM SIGGRAPH Asia, celebrada del 17 al 20 de noviembre en Brisbane, Australia. SIGGRAPH Asia, ahora en su duodécimo año, atrae a las personas técnicas y creativas más respetadas de todo el mundo en gráficos por computadora, animación, interactividad, juego de azar, y tecnologías emergentes.

Si bien las herramientas de edición de video existentes aún exigen conocimientos en procesamiento y edición de video, El nuevo método de los investigadores permite a los principiantes crear videos que cuentan historias de manera más natural. Escribir un video, dicen los investigadores, permite a los usuarios crear un montaje de video simplemente editando el texto que acompaña al video. Por ejemplo, agregar o eliminar texto, y mover oraciones alrededor de convertir a operaciones de edición de video, como encontrar las tomas correspondientes, cortar y reorganizar planos, y la creación de un resultado final de montaje de video.

"Write-A-Video utiliza los avances actuales en la comprensión automática de videos y una interfaz de usuario única para permitir una creación de videos más natural y simple, "dice el profesor Ariel Shamir, Decano de la Facultad de Ciencias de la Computación Efi Arazi de IDC Herzliya. "Con nuestra herramienta, el usuario proporciona entrada principalmente en forma de edición de texto. La herramienta busca automáticamente tomas candidatas que coincidan semánticamente en un repositorio de videos, y luego usa un método de optimización para ensamblar el montaje de video cortando y reordenando las tomas automáticamente ".

"Write-A-Video también permite a los usuarios explorar estilos visuales para cada escena utilizando modismos cinematográficos que generan, por ejemplo, películas de ritmo más rápido o más lento, menos o más movimientos de contenido, etc. ", explica el Dr. Miao Wang de la Universidad de Beihang.

Al seleccionar tomas candidatas del repositorio de videos, el método también considera el atractivo estético de las tomas, eligiendo los que están idealmente iluminados, que estén bien enfocados y no sean borrosos o inestables. "En cualquier punto, el usuario puede reproducir la película y obtener una vista previa del resultado del montaje de video con una narración en off de acompañamiento ", dice el profesor Shi-Min Hu de la Universidad de Tsinghua.

La investigación del equipo muestra que las herramientas digitales inteligentes que combinan las habilidades de los humanos y los algoritmos pueden ayudar a los usuarios en el proceso creativo. "Nuestro trabajo demuestra el potencial de la coincidencia visual-semántica automática en la edición computacional basada en idiomas, ofreciendo una forma inteligente de hacer que la creación de videos sea más accesible para los no profesionales, "dice Shamir.

Para el estudio, el enfoque se probó en varias piezas de repositorios de texto y video temáticos, con evaluación cuantitativa y estudios de usuarios. Los usuarios sin experiencia en edición de video pueden producir videos satisfactorios utilizando la herramienta Write-A-Video, a veces incluso más rápido que los profesionales que utilizan software de edición basado en marcos. En SIGGRAPH Asia, el equipo demostrará la aplicación Write-A-Video y exhibirá una variedad de ejemplos de producciones de texto a video.