En un hospital ocupado, una radióloga está utilizando un sistema de inteligencia artificial para ayudarla a diagnosticar condiciones médicas basadas en las imágenes de rayos X de los pacientes. Usar el sistema de IA puede ayudarla a hacer diagnósticos más rápidos, pero ¿cómo sabe cuándo confiar en las predicciones de la IA?

ella no En su lugar, puede basarse en su experiencia, un nivel de confianza proporcionado por el propio sistema o una explicación de cómo el algoritmo hizo su predicción, que puede parecer convincente pero aún así estar equivocado, para hacer una estimación.

Para ayudar a las personas a comprender mejor cuándo confiar en un "compañero de equipo" de IA, los investigadores del MIT crearon una técnica de incorporación que guía a los humanos a desarrollar una comprensión más precisa de aquellas situaciones en las que una máquina hace predicciones correctas y aquellas en las que hace predicciones incorrectas.

Al mostrar a las personas cómo la IA complementa sus habilidades, la técnica de entrenamiento podría ayudar a los humanos a tomar mejores decisiones o llegar a conclusiones más rápido cuando trabajan con agentes de IA.

"Proponemos una fase de enseñanza en la que gradualmente presentamos al ser humano este modelo de IA para que puedan, por sí mismos, ver sus debilidades y fortalezas", dice Hussein Mozannar, estudiante graduado en el Grupo de Aprendizaje Clínico de Máquinas de Ciencias de la Computación e Inteligencia Artificial. Laboratorio (CSAIL) y el Instituto de Ingeniería y Ciencias Médicas. "Hacemos esto imitando la forma en que el ser humano interactuará con la IA en la práctica, pero intervenimos para brindarles retroalimentación para ayudarlos a comprender cada interacción que están haciendo con la IA".

Mozannar escribió el artículo con Arvind Satyanarayan, profesor asistente de informática que dirige el Grupo de Visualización en CSAIL; y el autor principal David Sontag, profesor asociado de ingeniería eléctrica e informática en el MIT y líder del Clinical Machine Learning Group. La investigación se presentará en la Asociación para el Avance de la Inteligencia Artificial en febrero.

Modelos mentales

Este trabajo se centra en los modelos mentales que los humanos construyen sobre los demás. Si el radiólogo no está seguro acerca de un caso, puede preguntarle a un colega que sea experto en un área determinada. A partir de la experiencia pasada y su conocimiento de este colega, tiene un modelo mental de sus fortalezas y debilidades que utiliza para evaluar su consejo.

Los humanos construyen los mismos tipos de modelos mentales cuando interactúan con agentes de IA, por lo que es importante que esos modelos sean precisos, dice Mozannar. La ciencia cognitiva sugiere que los humanos toman decisiones para tareas complejas al recordar interacciones y experiencias pasadas. Por lo tanto, los investigadores diseñaron un proceso de incorporación que proporciona ejemplos representativos del trabajo conjunto del ser humano y la IA, que sirven como puntos de referencia en los que el ser humano puede basarse en el futuro. Comenzaron creando un algoritmo que puede identificar ejemplos que enseñarán mejor a los humanos sobre la IA.

"Primero aprendemos los sesgos y las fortalezas de un experto humano, utilizando observaciones de sus decisiones pasadas sin la guía de la IA", dice Mozannar. "Combinamos nuestro conocimiento sobre los humanos con lo que sabemos sobre la IA para ver dónde será útil para los humanos confiar en la IA. Luego obtenemos casos en los que sabemos que los humanos deben confiar en la IA y casos similares en los que la los humanos no deben confiar en la IA".

Los investigadores probaron su técnica de incorporación en una tarea de respuesta a preguntas basada en un pasaje:el usuario recibe un pasaje escrito y una pregunta cuya respuesta está contenida en el pasaje. Luego, el usuario debe responder la pregunta y puede hacer clic en un botón para "dejar que la IA responda". Sin embargo, el usuario no puede ver la respuesta de la IA por adelantado, lo que requiere que confíe en su modelo mental de la IA. El proceso de incorporación que desarrollaron comienza mostrando estos ejemplos al usuario, que intenta hacer una predicción con la ayuda del sistema de IA. El ser humano puede tener razón o no, y la IA puede tener razón o no, pero en cualquier caso, después de resolver el ejemplo, el usuario ve la respuesta correcta y una explicación de por qué la IA eligió su predicción. Para ayudar al usuario a generalizar a partir del ejemplo, se muestran dos ejemplos contrastantes que explican por qué la IA lo hizo bien o mal.

Por ejemplo, tal vez la pregunta de entrenamiento pregunte cuál de las dos plantas es nativa de más continentes, según un párrafo intrincado de un libro de texto de botánica. El humano puede responder por su cuenta o dejar que el sistema de IA responda. Luego, ve dos ejemplos de seguimiento que la ayudan a tener una mejor idea de las habilidades de la IA. Quizás la IA esté equivocada en una pregunta de seguimiento sobre frutas, pero tenga razón en una pregunta sobre geología. En cada ejemplo, se resaltan las palabras que usó el sistema para hacer su predicción. Ver las palabras resaltadas ayuda al humano a comprender los límites del agente de IA, explica Mozannar.

Para ayudar al usuario a retener lo que ha aprendido, el usuario luego escribe la regla que infiere de este ejemplo de enseñanza, como "Esta IA no es buena para predecir flores". Luego puede consultar estas reglas más adelante cuando trabaje con el agente en la práctica. Estas reglas también constituyen una formalización del modelo mental del usuario de la IA.

El impacto de la enseñanza

Los investigadores probaron esta técnica de enseñanza con tres grupos de participantes. Un grupo pasó por toda la técnica de incorporación, otro grupo no recibió los ejemplos de comparación de seguimiento y el grupo de referencia no recibió ninguna enseñanza, pero pudo ver la respuesta de la IA por adelantado.

"A los participantes que recibieron enseñanza les fue tan bien como a los participantes que no recibieron enseñanza pero pudieron ver la respuesta de la IA. Entonces, la conclusión es que pueden simular la respuesta de la IA como si la hubieran visto". dice Mozannar.

Los investigadores profundizaron en los datos para ver las reglas que escribieron los participantes individuales. Descubrieron que casi el 50 por ciento de las personas que recibieron capacitación escribieron lecciones precisas sobre las habilidades de la IA. Aquellos que tenían lecciones precisas tenían razón en el 63 por ciento de los ejemplos, mientras que aquellos que no tenían lecciones precisas tenían razón en el 54 por ciento. Y aquellos que no recibieron enseñanza pero pudieron ver las respuestas de la IA acertaron en el 57 % de las preguntas.

"Cuando la enseñanza es exitosa, tiene un impacto significativo. Esa es la conclusión aquí. Cuando somos capaces de enseñar a los participantes de manera efectiva, pueden hacerlo mejor que si realmente les diera la respuesta", dice.

Pero los resultados también muestran que todavía hay una brecha. Solo el 50 por ciento de los que fueron capacitados construyeron modelos mentales precisos de la IA, e incluso aquellos que lo hicieron solo acertaron el 63 por ciento de las veces. Aunque aprendieron lecciones precisas, no siempre siguieron sus propias reglas, dice Mozannar.

Esa es una pregunta que deja a los investigadores rascándose la cabeza:incluso si las personas saben que la IA debería ser correcta, ¿por qué no escuchan su propio modelo mental? Quieren explorar esta pregunta en el futuro, así como refinar el proceso de incorporación para reducir la cantidad de tiempo que lleva. También están interesados ​​en realizar estudios de usuarios con modelos de IA más complejos, particularmente en entornos de atención médica.