Los lenguajes de señas no son fáciles de aprender y son aún más difíciles de enseñar. Usan no solo gestos con las manos, sino también articulaciones, Expresiones faciales y postura corporal para comunicar significado. Esta complejidad significa que los programas de enseñanza profesional siguen siendo raros y, a menudo, costosos. Pero todo esto podría cambiar pronto con un poco de ayuda de la inteligencia artificial (IA).

Mis colegas y yo estamos trabajando en un software para aprender el lenguaje de señas de forma automatizada. forma intuitiva. En la actualidad, esta herramienta puede analizar la forma en que un estudiante realiza una señas en el lenguaje de señas suizo-alemán y proporcionar comentarios detallados sobre cómo mejorar la forma de la mano, movimiento, ubicación y momento. Pero nuestra esperanza es que podamos usar la inteligencia artificial detrás de la herramienta para crear software que pueda enseñar varios lenguajes de signos de todo el mundo. y tener en cuenta las características más complejas de los idiomas, como la gramática de las oraciones y los elementos de comunicación que no son manuales.

La IA se ha utilizado previamente para el reconocimiento, traducción o interpretación de lengua de signos. Pero creemos que somos los primeros en intentar evaluar los signos que hace una persona. Más importante, Queremos aprovechar la tecnología de inteligencia artificial para brindar retroalimentación al usuario sobre lo que hizo mal.

Practicar y evaluar el lenguaje de señas es difícil porque no se puede leer ni escribir. En lugar de, hemos creado un juego de computadora. Para practicar una señal, el juego te muestra un video de esa señal que se realiza, o le da la palabra hablada más cercana que lo describe (o ambos). Luego registra su intento de recrear el letrero usando una cámara de video y le dice cómo puede hacerlo mejor. Descubrimos que convertirlo en un juego alienta a las personas a competir para obtener la mejor puntuación y mejorar su firma en el camino.

La inteligencia artificial se utiliza en todas las etapas de la evaluación del desempeño. Primero, una red neuronal convolucional (CNN) extrae información del video sobre la pose de la parte superior del cuerpo. Una CNN es un tipo de IA que se basa libremente en el procesamiento realizado por la corteza visual en su cerebro. La información de su postura esquelética y el video original se envían al analizador de forma de mano, donde otra CNN mira el video y extrae información sobre la forma de la mano en cada punto del video.

La información del esqueleto y las formas de la mano se envían luego a un analizador de movimiento de la mano, que usa algo llamado modelo Hidden Markov (HMM). Este tipo de IA nos permite modelar el esqueleto y la información de la forma de la mano a lo largo del tiempo. Luego compara lo que ha visto con un modelo de referencia que representa la versión perfecta de ese signo, y produce una puntuación de qué tan bien coincide.

Los resultados tanto del analizador de forma de la mano como del analizador de movimiento de la mano se puntúan y se le presentan como retroalimentación. Así que toda la IA está oculta detrás de una interfaz fácil de usar, permitiéndole concentrarse en el aprendizaje. Nuestra esperanza es que el automático, La retroalimentación personal hará que los estudiantes se involucren más en el proceso de aprender a señas.

Llevando la IA al aula

Hasta aquí, el software solo funciona con el lenguaje de señas suizo-alemán. Pero nuestra investigación sugiere que la "arquitectura" del sistema no necesitaría cambiar para trabajar con otros lenguajes. Solo necesitaría más grabaciones de video de cada idioma para actuar como datos para entrenarlo.

Un área de investigación que nos gustaría explorar es cómo podríamos usar lo que la IA ya sabe para ayudarla a aprender nuevos idiomas. También nos gustaría ver cómo podemos agregar otros aspectos de la comunicación mientras usamos el lenguaje de señas, como expresiones faciales.

En este momento, el software funciona mejor en un entorno simple como un aula. Pero si podemos desarrollarlo para tolerar una mayor variación en el fondo de las secuencias de video, lo estamos evaluando, podría convertirse en muchas aplicaciones populares que le permiten aprender un idioma donde quiera que esté sin la ayuda de un experto. Con este tipo de tecnología en desarrollo, Pronto será posible hacer que el aprendizaje del lenguaje de señas sea tan accesible para todos como el aprendizaje de sus hermanos hablados.

Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.