Los informáticos examinaron recientemente el rendimiento de los sistemas de diálogo, como los asistentes personales y los chatbots diseñados para interactuar con humanos. El equipo descubrió que cuando estos sistemas se enfrentan a un diálogo que incluye expresiones idiomáticas o símiles, su rendimiento cae entre un 10 y un 20 por ciento.

El equipo de investigación también desarrolló un remedio parcial. Escribieron un guión simple que identifica frases figurativas y las reemplaza con su significado literal. Como resultado, el rendimiento de los sistemas de diálogo mejoró hasta en un 15 por ciento.

Los investigadores presentarán sus hallazgos en la Conferencia sobre métodos empíricos en el procesamiento del lenguaje natural de 2021, que tendrá lugar del 7 al 11 de noviembre de 2021. 

Las aplicaciones para este trabajo incluyen no solo asistentes personales, sino también sistemas diseñados para resumir información, como el cuadro que resume los resultados de búsqueda en la parte superior de una página de Google. Los sistemas automatizados que necesitan responder preguntas, por ejemplo, cuando se debe pagar una factura o hacer una cita, también se beneficiarían de este trabajo.

"Queremos permitir conversaciones más naturales entre las personas y los sistemas de diálogo", dijo Harsh Jhamtani, el primer autor del artículo.

Jhamtani es un Ph.D. estudiante en la Universidad Carnegie Mellon y actualmente trabaja como investigador visitante con el autor principal Taylor Berg-Kirkpatrick, miembro de la facultad en el Departamento de Informática e Ingeniería de UC San Diego.

El estudio se inspiró en las propias luchas de Jhamtani con el lenguaje figurativo. Es un hablante nativo de hindi y también habla inglés, el otro idioma oficial de la India. Pero tuvo que aprender muchos modismos y metáforas estadounidenses que usan sus colegas.

Por ejemplo, entró en pánico cuando un colega dijo que se estaba muriendo de hambre porque en hindi eso podría indicar una emergencia médica. Su colega luego explicó que solo significaba que tenía hambre. Para entonces, Jhamtani se preguntaba si los sistemas de diálogo artificial tendrían el mismo problema que él.

En el estudio, los investigadores probaron cinco sistemas diferentes diseñados para hablar con humanos, incluido GPT-2, que está capacitado para predecir la siguiente palabra en 40 GB de texto de Internet y fue desarrollado por la empresa de investigación OpenAI.

Los investigadores primero ejecutaron los sistemas de diálogo a través de un conjunto de datos de 13.100 conversaciones sobre temas coloquiales como turismo, salud, etc. Luego extrajeron las conversaciones que incluían lenguaje figurado del conjunto de datos y ejecutaron los sistemas solo a través de eso. Observaron una caída en el rendimiento que va del 10 al 20 por ciento.

Luego escribieron un script que permitió a los sistemas verificar rápidamente los diccionarios que traducen el habla figurativa al habla literal. Esto es más rápido y eficiente que los sistemas de reentrenamiento para aprender el contenido completo de estos diccionarios. Los investigadores observaron que el rendimiento mejoró hasta en un 15 por ciento.

Los investigadores todavía tenían que depender parcialmente de los observadores humanos para identificar el lenguaje figurado dentro del conjunto de datos, antes de poder convertir el texto. Se necesitan más estudios en esta área.

Tomará varias iteraciones antes de que los algoritmos desarrollados por los investigadores estén listos para su implementación. Por ejemplo, descubrieron que, en algunos casos raros, reemplazar el lenguaje figurativo con lenguaje literal distorsionaba la gramática de una oración hasta el punto en que los sistemas de diálogo ya no podían entender.