¿Eres más inteligente que un modelo de aprendizaje automático? Vamos a averiguar. Elija la respuesta que contradiga la siguiente premisa:

Bob tiene una hermana llamada Sarah.

• A) Bob tiene una hermana.
• B) Bob no tiene auto.
• C) Bob no tiene hermana.

Si eligió C, ¡Felicidades!

Ejemplos como este pueden parecer simples, pero parecen ser un buen indicador de la comprensión del lenguaje por parte de una máquina. La prueba se llama inferencia del lenguaje natural y a menudo se usa para medir la capacidad de un modelo para comprender una relación entre dos textos. Las posibles relaciones son la implicación (como en el ejemplo A), neutral (B), y contradicción (C).

Conjuntos de datos con cientos de miles de estas preguntas, generado por humanos, han llevado a una explosión de nuevas arquitecturas de redes neuronales para resolver la inferencia del lenguaje natural. A través de los años, estas redes neuronales se han vuelto cada vez mejores. Los modelos de última generación de hoy suelen obtener el equivalente a una B + en estas pruebas. Los humanos suelen obtener una A o A-.

Pero los investigadores descubrieron recientemente que los modelos de aprendizaje automático todavía funcionan notablemente bien cuando solo se les da la respuesta, también llamada hipótesis, sin la premisa original. Por ejemplo, un modelo dado solo "Bob no tiene una hermana" adivinará que se trata de una hipótesis contradictoria, incluso si no se da la premisa "Bob tiene una hermana llamada Sarah".

Como resulta, estos conjuntos de datos están plagados de sesgos humanos. Cuando se le pide que elabore oraciones contradictorias, los humanos a menudo usan negaciones, como "no" o "nadie". Sin embargo, confiar en estas pistas podría llevar a los modelos de aprendizaje automático a etiquetar incorrectamente como una contradicción "Bob no es dueño de un automóvil".

"Estos modelos no están aprendiendo a comprender la relación entre textos, están aprendiendo a captar la idiosincrasia humana, "dijo Yonatan Belinkov, primer autor del artículo y becario postdoctoral en informática en la Escuela de Ingeniería y Ciencias Aplicadas John A. Paulson de Harvard (SEAS).

Para combatir esto, Belinkov y sus colegas desarrollaron un nuevo método para construir modelos de aprendizaje automático que reduce la dependencia del modelo de estos sesgos.

El equipo presenta su investigación en la 57a Reunión Anual de la Asociación de Lingüística Computacional (ACL) en Florencia. Italia del 28 de julio al 2 de agosto.

Es común modelar la prueba típica de inferencia de lenguaje natural como una secuencia única:la premisa y la hipótesis se procesan juntas y se envían a un clasificador que predice la contradicción, neutral o vinculación.

El equipo agregó una segunda corriente al modelo, éste con solo la hipótesis. El modelo aprende a realizar inferencias de lenguaje natural con ambos flujos simultáneamente, pero si funciona bien en el lado de las hipótesis, está penalizado. Este enfoque alienta al modelo a enfocarse más en el lado de la premisa y abstenerse de aprender los sesgos que llevaron a un desempeño exitoso de solo hipótesis.

"Nuestra esperanza es que con este método, el modelo no solo se centra en palabras sesgadas, como "no" o "no lo hace", "sino que ha aprendido algo más profundo, "dijo Stuart Shieber, James O. Welch, Jr. y Virginia B. Welch Profesora de Ciencias de la Computación en SEAS y coautora del artículo.

Esos sesgos sin embargo, también pueden ser claves de contexto importantes para resolver el problema, por lo que es fundamental no devaluarlos demasiado.

"Existe una delgada línea entre el sesgo y la utilidad, "dijo Gabriel Grand, CS '18, quien trabajó en el proyecto como parte de su tesis de pregrado. "Alcanzar el máximo rendimiento significa olvidar muchas suposiciones, pero no todas".

(Tesis de Grand, "Aprendizaje de modelos interpretables y libres de prejuicios para la respuesta visual a preguntas" fue galardonado con el Premio Thomas Temple Hoopes 2018-2019 por su destacada labor académica o investigación).

Al eliminar muchas de estas suposiciones, Como era de esperar, el modelo de dos corrientes obtuvo resultados ligeramente peores en los datos con los que se entrenó que el modelo que no fue penalizado por depender de sesgos. Sin embargo, cuando se probó en nuevos conjuntos de datos, con diferentes sesgos, el modelo funcionó significativamente mejor.

"Aunque el modelo obtuvo algunos puntos porcentuales peores en su propio conjunto de datos, ha aprendido a no depender tanto de los prejuicios. Entonces, este método produce un modelo que funciona de manera más general y es más robusto, "dijo Shieber.

Este método puede aplicarse a una variedad de tareas de inteligencia artificial que requieren identificar relaciones más profundas, como la respuesta visual a preguntas, comprensión lectora, y otras tareas del lenguaje natural, evitando al mismo tiempo sesgos superficiales.