Los simuladores de conducción actuales tienen un gran problema:no parecen lo suficientemente realistas, en particular los objetos de fondo, como árboles y marcas viales. Pero los investigadores han desarrollado una nueva forma de crear imágenes fotorrealistas para simuladores, allanando el camino para mejores pruebas de automóviles sin conductor.

Los gráficos por computadora convencionales utilizan modelos detallados, mallas y texturas para generar imágenes 2D a partir de escenas 3D, un proceso laborioso que produce imágenes que a menudo no llegan a ser realistas, especialmente en el fondo. Sin embargo, mediante el uso de un marco de aprendizaje automático llamado Generative Adversarial Network (GAN), los investigadores pudieron entrenar su programa para generar aleatoriamente entornos realistas al mejorar la fidelidad visual del programa:el nivel de representación que los gráficos de computadora comparten con la realidad.

Esto es especialmente importante cuando se prueba cómo reaccionan los humanos cuando están en vehículos sin conductor o, alternativamente, en la carretera con ellos.

"Cuando las simulaciones de conducción parecen juegos de computadora, la mayoría de las personas no las toman en serio", dijo Ekim Yurtsever, autor principal del estudio e investigador asociado de ingeniería eléctrica e informática en la Universidad Estatal de Ohio. "Es por eso que queremos que nuestras simulaciones se parezcan lo más posible al mundo real".

El estudio fue publicado en la revista IEEE Transactions on Intelligent Transportation Systems .

Los investigadores comenzaron con CARLA, un simulador de conducción de código abierto, como base. Luego usaron un sintetizador de imágenes basado en GAN para renderizar los elementos de fondo como edificios, vegetación e incluso el cielo, y combinarlos con objetos renderizados más tradicionales.

Yurtsever dijo que las simulaciones de conducción seguirán necesitando técnicas de representación de gráficos convencionales que requieren mucha mano de obra para mostrar los principales objetos de interés, como los automóviles cercanos. Pero, al usar inteligencia artificial, GAN puede entrenarse para generar fondos y primeros planos realistas utilizando datos del mundo real.

Uno de estos desafíos que enfrentaron los investigadores fue enseñar a su programa a reconocer patrones en sus entornos, una habilidad necesaria para detectar y crear objetos como vehículos, árboles y sombras, y para distinguir estos objetos entre sí.

"La belleza de esto es que estos patrones y texturas en nuestro modelo no están diseñados por ingenieros", dijo Yurtsever. "Tenemos una plantilla de reconocimiento de características, pero la red neuronal la aprende por sí misma".

Sus hallazgos mostraron que la combinación de objetos en primer plano de manera diferente al paisaje de fondo mejoró el fotorrealismo de toda la imagen.

Sin embargo, en lugar de modificar una simulación completa a la vez, el proceso debía realizarse cuadro por cuadro. Pero como no vivimos en un mundo cuadro por cuadro, el próximo paso del proyecto será mejorar la consistencia temporal del programa, donde cada cuadro es consistente con los anteriores y posteriores para que los usuarios experimenten una experiencia visualmente fascinante y sin problemas. , dijo Yurtsever.

El desarrollo de tecnologías fotorrealistas también podría ayudar a los científicos a estudiar las complejidades de la distracción del conductor y ayudar a mejorar los experimentos con conductores reales, dijo Yurtsever. Y con el acceso a conjuntos de datos más grandes de escenas en la carretera, las simulaciones de conducción más inmersivas podrían cambiar la forma en que los humanos y la IA comienzan a compartir la carretera.

"Our research is an extremely important step in conceptualizing and testing new ideas," Yurtsever said. "We can never actually replace real world testing, but if we can make simulations a little bit better, we can get better insight on how we can improve autonomous driving systems and how we interact with them." + Explora más

Technique enables real-time rendering of scenes in 3D