El santo grial de la inteligencia artificial es una máquina que realmente entiende el lenguaje humano e interpreta el significado de complejos, pasajes matizados. Cuando la computadora Watson de IBM venció al famoso "Jeopardy!" campeón Ken Jennings en 2011, parecía como si se hubiera cumplido ese hito. Sin embargo, Cualquiera que haya intentado tener una conversación con el asistente virtual Siri sabe que las computadoras tienen un largo camino por recorrer para comprender verdaderamente el lenguaje humano. Para mejorar en la comprensión del idioma, Los sistemas informáticos deben entrenarse utilizando preguntas que los desafíen y reflejen la complejidad total del lenguaje humano.

Investigadores de la Universidad de Maryland han descubierto cómo crear de manera confiable tales preguntas a través de una colaboración entre humanos y computadoras, desarrollar un conjunto de datos de más de 1, 200 preguntas que, si bien es fácil de responder para la gente, desconcierta los mejores sistemas de contestador automático de la actualidad. El sistema que aprenda a dominar estas preguntas tendrá una mejor comprensión del lenguaje que cualquier otro sistema actualmente existente. El trabajo se describe en un artículo publicado en la edición de 2019 de la revista. Transacciones de la Asociación de Lingüística Computacional .

"La mayoría de los sistemas informáticos de respuesta a preguntas no explican por qué responden de la forma en que lo hacen, pero nuestro trabajo nos ayuda a ver lo que las computadoras realmente entienden, "dijo Jordan Boyd-Graber, profesor asociado de informática en la UMD y autor principal del artículo. "Además, hemos producido un conjunto de datos para probar en computadoras que revelará si un sistema de lenguaje de computadora está realmente leyendo y haciendo el mismo tipo de procesamiento que los humanos son capaces de hacer ".

La mayor parte del trabajo actual para mejorar los programas de respuesta a preguntas utiliza autores humanos o computadoras para generar preguntas. El desafío inherente a estos enfoques es que cuando los humanos escriben preguntas, no saben qué elementos específicos de su pregunta confunden a la computadora. Cuando las computadoras escriben las preguntas, o escriben fórmulas, rellenar las preguntas en blanco o cometer errores, a veces generando tonterías.

Desarrollar su enfoque novedoso de humanos y computadoras trabajando juntos para generar preguntas, Boyd-Graber y su equipo crearon una interfaz de computadora que revela lo que una computadora está "pensando" cuando un escritor humano escribe una pregunta. Luego, el escritor puede editar su pregunta para aprovechar las debilidades de la computadora.

En la nueva interfaz, un autor humano escribe una pregunta mientras las suposiciones de la computadora aparecen en orden de clasificación en la pantalla, y se resaltan las palabras que llevaron a la computadora a hacer sus conjeturas.

Por ejemplo, si el autor escribe "¿Qué variaciones del compositor sobre un tema de Haydn se inspiró en Karl Ferdinand Pohl?" y el sistema responde correctamente "Johannes Brahms, "la interfaz resalta las palabras" Ferdinand Pohl "para mostrar que esta frase lo llevó a la respuesta. Con esa información, el autor puede editar la pregunta para que sea más difícil para la computadora sin alterar el significado de la pregunta. En este ejemplo, el autor reemplazó el nombre del hombre que inspiró a Brahms, "Karl Ferdinand Pohl, "con una descripción de su trabajo, "el archivero del Musikverein de Viena, "y la computadora no pudo responder correctamente. Sin embargo, Los jugadores expertos en juegos de preguntas humanas aún podrían responder fácilmente a la pregunta editada correctamente.

Trabajando juntos humanos y computadoras desarrollados de manera confiable 1, 213 preguntas desafiantes de computadora que los investigadores probaron durante una competencia que enfrentaba a jugadores humanos experimentados, desde equipos de trivia de la escuela secundaria hasta "Jeopardy!" campeones — contra las computadoras. Incluso el equipo humano más débil derrotó al sistema informático más fuerte.

"Durante tres o cuatro años, la gente ha sido consciente de que los sistemas informáticos de respuesta a preguntas son muy frágiles y se pueden engañar con mucha facilidad, "dijo Shi Feng, estudiante de posgrado en informática de la UMD y coautor del artículo. "Pero este es el primer documento del que tenemos conocimiento que realmente usa una máquina para ayudar a los humanos a romper el modelo en sí".

Los investigadores dicen que estas preguntas servirán no solo como un nuevo conjunto de datos para que los científicos informáticos comprendan mejor dónde falla el procesamiento del lenguaje natural, sino también como un conjunto de datos de entrenamiento para desarrollar algoritmos de aprendizaje automático mejorados. Las preguntas revelaron seis fenómenos del lenguaje diferentes que constantemente desconciertan a las computadoras.

Estos seis fenómenos se dividen en dos categorías. En la primera categoría están los fenómenos lingüísticos:parafrasear (como decir "saltar desde un precipicio" en lugar de "saltar desde un precipicio"), lenguaje distractor o contextos inesperados (como una referencia a una figura política que aparece en una pista sobre algo no relacionado con la política). La segunda categoría incluye habilidades de razonamiento:pistas que requieren lógica y cálculo, triangulación mental de elementos en una pregunta, o juntar varios pasos para llegar a una conclusión.

"Los humanos pueden generalizar más y ver conexiones más profundas, ", Dijo Boyd-Graber." No tienen la memoria ilimitada de las computadoras, pero todavía tienen la ventaja de poder ver el bosque por los árboles. Catalogar los problemas que tienen las computadoras nos ayuda a comprender los problemas que debemos abordar, para que podamos hacer que las computadoras comiencen a ver el bosque a través de los árboles y respondan preguntas como lo hacen los humanos ".

Hay un largo camino por recorrer antes de que eso suceda, agregó Boyd-Graber, quien también tiene nombramientos conjuntos en el Instituto de Estudios Informáticos Avanzados de la Universidad de Maryland (UMIACS), así como en el Centro de Ciencias del Lenguaje y la Facultad de Estudios de la Información de la UMD. Pero este trabajo proporciona una nueva y emocionante herramienta para ayudar a los científicos informáticos a lograr ese objetivo.

"Este documento presenta una agenda de investigación para los próximos años para que podamos hacer que las computadoras respondan bien las preguntas, " él dijo.