IBM Research y Rensselaer Polytechnic Institute (RPI) están colaborando en un nuevo enfoque para ayudar a los estudiantes a aprender mandarín. La estrategia combina un asistente con tecnología de inteligencia artificial con un entorno de clase inmersivo que no se ha utilizado anteriormente para la instrucción de idiomas. El salón de clases, llamada Sala de inmersión cognitiva (CIR), hace que los estudiantes se sientan como si estuvieran en un restaurante en China, un jardín, o una clase de Tai Chi, donde pueden practicar hablar mandarín con un agente de chat de IA. El CIR fue desarrollado por el Laboratorio de Sistemas Cognitivos e Inmersivos (CISL), una colaboración de investigación entre IBM Research y RPI.

Al aprender un nuevo idioma, especialmente uno tan difícil como el mandarín, es importante que los estudiantes tengan muchas oportunidades para hablar y practicar sus habilidades de conversación. Adquirir un nuevo idioma de forma natural, a través de la inmersión cultural, puede ser más eficaz que las prácticas no inmersivas. Todavía, El aprendizaje experimental no está disponible para la mayoría de los nuevos estudiantes de mandarín. Por eso desarrollamos el CIR.

Un entorno de aula de gamificación inmersiva

El CIR reúne varias tecnologías de vanguardia como voz a texto, comprensión del lenguaje natural, y visión por computadora para permitir la inmersión y el diálogo multimodal natural. La sala incluye un sistema de visualización panorámica de 360 ​​grados, un sistema de audio, varias cámaras, múltiples dispositivos Kinect, y varios micrófonos, así como sistemas informáticos para apoyar las tecnologías de IA, algunos ubicados en la habitación y otros en la nube.

Nuestro objetivo es combinar cognitivo, tecnologías inmersivas con elementos de juego para permitir a los estudiantes experimentar un entorno cultural, practicar las tareas diarias, y obtenga ayuda de agentes inteligentes. Con el Proyecto Mandarin, utilizamos IBM Watson dentro del CIR como un agente de conversación para involucrar a los estudiantes mientras aprenden el idioma. Nuestro enfoque incluye tecnologías de reconocimiento de voz y comprensión del lenguaje natural de IBM Watson para inglés y chino.

Uno de los mayores obstáculos para aprender un idioma extranjero a través de la inmersión es el temor de los estudiantes a ser juzgados por hablantes nativos. En el CIR, sin embargo, los estudiantes pueden trabajar con compañeros de conversación virtuales para practicar el vocabulario y la pronunciación sin las presiones de un entorno del mundo real.

Muchos investigadores del aprendizaje de idiomas están trabajando con realidad virtual o aumentada, pero estamos investigando a escala humana, inmersivo entornos de juego donde los estudiantes pueden caminar físicamente sin tener que usar equipo especializado. Esto refleja una tendencia más amplia en la interacción humano-computadora, a medida que nuestro compromiso con la información en nuestra vida diaria se vuelve cada vez más inmersivo y nuestras interacciones con máquinas inteligentes cambian hacia la asociación.

Nuestro sistema fue probado en una clase de chino 1 en el campus de RPI a fines del otoño de 2017. Este otoño, continuaremos usando la IA como herramienta de enseñanza en chino 1, 2 y 3 clases, con el objetivo de ofrecer una nueva clase que combine el chino 1-3 en el verano de 2019.

La investigación detrás, y más allá, del aula

Como parte de IBM AI Horizons Network, CISL crea y utiliza tecnologías tales como sistemas sensibles al contexto, análisis del contorno del tono de tono, cambio de idioma entre chino e inglés en una conversación en lenguaje natural entre personas y agentes de inteligencia artificial, interacción multimodal multiusuario, razonamiento y planificación en el proceso de toma de decisiones y storytelling multimodal con generación automática de narrativa, visualización y sonificación.

El CIR es uno de los cuatro casos de uso en CISL. El laboratorio también está trabajando para aumentar la inteligencia del grupo para la toma de decisiones críticas en entornos del mundo real como salas de juntas. En el futuro, Estos nuevos sistemas cognitivos e inmersivos podrían cambiar fundamentalmente la forma en que las personas viven y trabajan. Los primeros prototipos de CIR también han brindado oportunidades para la investigación de la interacción del usuario, permitiéndonos encontrar y abordar nuevos desafíos en el aprendizaje de idiomas.