Un nuevo sistema de software desarrollado por investigadores de la Universidad de Brown convierte los teléfonos móviles en portales de realidad aumentada, permitir a los usuarios colocar bloques de construcción virtuales, muebles y otros objetos en fondos del mundo real, y usar sus manos para manipular esos objetos como si realmente estuvieran allí.

Los desarrolladores esperan que el nuevo sistema, llamado Portal-ble, podría ser una herramienta para los artistas, diseñadores, desarrolladores de juegos y otros para experimentar con realidad aumentada (AR). El equipo presentará el trabajo a finales de este mes en el Simposio ACM sobre software y tecnología de interfaz de usuario (UIST 2019) en Nueva Orleans. El código fuente de Andriod está disponible gratuitamente para su descarga en el sitio web de los investigadores, y el código de iPhone aparecerá pronto.

"La RA será un nuevo modo de interacción fantástico, "dijo Jeff Huang, un profesor asistente de ciencias de la computación en Brown que desarrolló el sistema con sus estudiantes. "Queríamos hacer algo que hiciera portátil AR para que la gente pudiera usarlo en cualquier lugar sin auriculares voluminosos. También queríamos que la gente pudiera interactuar con el mundo virtual de una manera natural usando sus manos".

Huang dijo que la idea de la interacción "práctica" de Portal-ble surgió de cierta frustración con las aplicaciones de realidad aumentada como Pokemon GO. Las aplicaciones de AR usan teléfonos inteligentes para colocar objetos virtuales (como personajes de Pokémon) en escenas del mundo real, pero la interacción con esos objetos requiere que los usuarios pasen el dedo por la pantalla.

"Deslizar el dedo no era una forma satisfactoria de interactuar, ", Dijo Huang." En el mundo real, interactuamos con objetos con nuestras manos. Giramos los pomos de las puertas, recoger cosas y tirarlas. Entonces pensamos que manipular objetos virtuales a mano sería mucho más poderoso que deslizar. Eso es lo diferente de Portal-ble ".

La plataforma hace uso de un pequeño sensor de infrarrojos montado en la parte posterior de un teléfono. El sensor rastrea la posición de las manos de las personas en relación con los objetos virtuales, permitir a los usuarios recoger objetos, darles la vuelta, apílelos o déjelos caer. También permite que las personas usen sus manos para "pintar" virtualmente sobre fondos del mundo real. Como demostración, Huang y sus estudiantes usaron el sistema para pintar un jardín virtual en un espacio verde en el campus de Brown's College Hill.

Huang dice que la principal contribución técnica del trabajo fue desarrollar las adaptaciones adecuadas y las herramientas de retroalimentación para permitir que las personas interactúen intuitivamente con objetos virtuales.

"Resulta que captar un objeto virtual es realmente difícil si intentas aplicar la física del mundo real, ", Dijo Huang." La gente trata de agarrar en el lugar equivocado, o ponen sus dedos a través de los objetos. Así que tuvimos que observar cómo la gente trataba de interactuar con estos objetos y luego hacer que nuestro sistema pudiera adaptarse a esas tendencias ".

Para hacer eso, Huang reclutó a los estudiantes en una clase que estaba enseñando para que propusieran tareas que tal vez quisieran hacer en el mundo de AR:apilar un conjunto de bloques, por ejemplo. Luego, los estudiantes le pidieron a otras personas que intentaran realizar esas tareas usando Portal-ble, mientras registra lo que la gente pudo hacer y lo que no pudo. Luego, podrían ajustar la física del sistema y la interfaz de usuario para que las interacciones sean más exitosas.

"Es un poco como lo que sucede cuando la gente dibuja líneas en Photoshop, "Huang dijo." Las líneas que la gente dibuja nunca son perfectas, pero el programa puede suavizarlos y enderezarlos perfectamente. Esos eran los tipos de adaptaciones que intentábamos hacer con estos objetos virtuales ".

El equipo también agregó retroalimentación sensorial (aspectos destacados visuales de los objetos y las vibraciones del teléfono) para facilitar las interacciones. Huang dijo que estaba algo sorprendido de que las vibraciones del teléfono ayudaran a los usuarios a interactuar. Los usuarios sienten las vibraciones en la mano que usan para sostener el teléfono, no en la mano que está agarrando el objeto virtual. Todavía, Huang dijo:La retroalimentación de vibración aún ayudaba a los usuarios a interactuar de manera más exitosa con los objetos.

En estudios de seguimiento, los usuarios informaron que las adaptaciones y los comentarios utilizados por el sistema facilitaron significativamente las tareas, menos tiempo y más satisfactorio.

Huang y sus estudiantes planean continuar trabajando con Portal-ble, expandiendo su biblioteca de objetos, refinando interacciones y desarrollando nuevas actividades. También esperan optimizar el sistema para que funcione completamente en un teléfono. Actualmente, el sensor de infrarrojos requiere un sensor de infrarrojos y una barra de cálculo externa para poder de procesamiento adicional.

Huang espera que las personas descarguen el código fuente disponible gratuitamente y lo prueben por sí mismos.

"Realmente solo queremos publicar esto y ver qué hace la gente con él, ", dijo." El código está en nuestro sitio web para que la gente lo descargue, editar y construir a partir de. Será interesante ver qué hace la gente con él ".