Los algoritmos de aprendizaje automático ahora son la base de gran parte del software que usamos, ayudando a personalizar nuestros feeds de noticias y terminar nuestros pensamientos antes de que terminemos de escribir. Pero a medida que la inteligencia artificial se integra cada vez más en la vida diaria, las expectativas han aumentado. Antes de que los sistemas autónomos ganen plenamente nuestra confianza, necesitamos saber que son confiables en la mayoría de situaciones y que pueden resistir interferencias externas; en términos de ingeniería, que son robustos. También necesitamos entender el razonamiento detrás de sus decisiones; que son interpretables.

Aleksander Madry, profesor asociado de ciencias de la computación en el MIT y miembro principal de la facultad del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL), la iniciativa Trustworthy AI, compara la IA con un cuchillo afilado, una herramienta útil pero potencialmente peligrosa que la sociedad debe aprender a manejar adecuadamente. Madry habló recientemente en el Simposio sobre robustez del MIT, IA interpretable, un evento copatrocinado por MIT Quest for Intelligence y CSAIL, y se llevó a cabo el 20 de noviembre en el Auditorio Singleton. El simposio fue diseñado para mostrar el nuevo trabajo del MIT en el área de construcción de garantías en IA, que casi se ha convertido en una rama del aprendizaje automático por derecho propio. Seis miembros de la facultad hablaron sobre su investigación, 40 estudiantes presentaron carteles, y Madry abrió el simposio con una charla titulada acertadamente, "Robustez e Interpretabilidad". Hablamos con Madry, líder en este campo emergente, sobre algunas de las ideas clave planteadas durante el evento.

P:La IA debe gran parte de su progreso reciente al aprendizaje profundo, una rama del aprendizaje automático que ha mejorado significativamente la capacidad de los algoritmos para seleccionar patrones en el texto, imágenes y sonidos, brindándonos asistentes automáticos como Siri y Alexa, entre otras cosas. Pero los sistemas de aprendizaje profundo siguen siendo vulnerables de formas sorprendentes:tropiezan cuando encuentran ejemplos ligeramente desconocidos en el mundo real o cuando un atacante malintencionado le envía imágenes sutilmente alteradas. ¿Cómo intentan usted y otros hacer que la IA sea más robusta?

R:Hasta hace poco, Los investigadores de IA se centraron simplemente en conseguir algoritmos de aprendizaje automático para realizar tareas básicas. Lograr un rendimiento de casos incluso promedio fue un gran desafío. Ahora que el rendimiento ha mejorado, La atención se ha centrado en el siguiente obstáculo:mejorar el rendimiento en el peor de los casos. La mayor parte de mi investigación se centra en afrontar este desafío. Específicamente, Trabajo en el desarrollo de sistemas de aprendizaje automático de próxima generación que serán lo suficientemente confiables y seguros para aplicaciones de misión crítica como automóviles autónomos y software que filtra contenido malicioso. Actualmente estamos construyendo herramientas para entrenar sistemas de reconocimiento de objetos para identificar lo que está sucediendo en una escena o imagen, incluso si las imágenes alimentadas al modelo han sido manipuladas. También estamos estudiando los límites de los sistemas que ofrecen garantías de seguridad y fiabilidad. ¿Cuánta confiabilidad y seguridad podemos incorporar en los modelos de aprendizaje automático? y ¿qué otras funciones podríamos necesitar sacrificar para llegar allí?

Mi colega Luca Daniel, quien también habló, está trabajando en un aspecto importante de este problema:desarrollar una forma de medir la resiliencia de un sistema de aprendizaje profundo en situaciones clave. Las decisiones tomadas por los sistemas de aprendizaje profundo tienen importantes consecuencias, y, por lo tanto, es esencial que los usuarios finales puedan medir la confiabilidad de cada uno de los resultados del modelo. Otra forma de hacer que un sistema sea más robusto es durante el proceso de capacitación. En su charla, "Robustez en las GAN y en la optimización de caja negra, "Stefanie Jegelka mostró cómo el alumno en una red generativa de adversarios, Organo, se puede hacer para soportar manipulaciones a su entrada, conduciendo a un rendimiento mucho mejor.

P:Las redes neuronales que impulsan el aprendizaje profundo parecen aprender casi sin esfuerzo:suminístreles suficientes datos y pueden superar a los humanos en muchas tareas. Y todavía, también hemos visto la facilidad con la que pueden fallar, con al menos tres casos ampliamente publicitados de autos sin conductor chocando y matando a alguien. Las aplicaciones de la IA en el cuidado de la salud aún no están bajo el mismo nivel de escrutinio, pero hay mucho en juego. David Sontag centró su charla en las consecuencias a menudo de vida o muerte cuando un sistema de inteligencia artificial carece de robustez. ¿Cuáles son algunas de las señales de alerta cuando se entrena a una IA con los registros médicos de los pacientes y otros datos de observación?

R:Esto se remonta a la naturaleza de las garantías y los supuestos subyacentes que incorporamos en nuestros modelos. A menudo asumimos que nuestros conjuntos de datos de entrenamiento son representativos de los datos del mundo real en los que probamos nuestros modelos, una suposición que tiende a ser demasiado optimista. Sontag dio dos ejemplos de suposiciones erróneas incorporadas al proceso de entrenamiento que podrían llevar a una IA a dar un diagnóstico incorrecto o recomendar un tratamiento dañino. El primero se centró en una base de datos masiva de radiografías de pacientes publicada el año pasado por los Institutos Nacionales de Salud. Se esperaba que el conjunto de datos aportara grandes mejoras al diagnóstico automatizado de enfermedades pulmonares hasta que un radiólogo escéptico miró más de cerca y encontró errores generalizados en las etiquetas de diagnóstico de las exploraciones. Una IA entrenada en escaneos de tórax con muchas etiquetas incorrectas tendrá dificultades para generar diagnósticos precisos.

A second problem Sontag cited is the failure to correct for gaps and irregularities in the data due to system glitches or changes in how hospitals and health care providers report patient data. Por ejemplo, a major disaster could limit the amount of data available for emergency room patients. If a machine-learning model failed to take that shift into account its predictions would not be very reliable.

Q:You've covered some of the techniques for making AI more reliable and secure. What about interpretability? What makes neural networks so hard to interpret, and how are engineers developing ways to peer beneath the hood?

A:Understanding neural-network predictions is notoriously difficult. Each prediction arises from a web of decisions made by hundreds to thousands of individual nodes. We are trying to develop new methods to make this process more transparent. In the field of computer vision one of the pioneers is Antonio Torralba, director of The Quest. In his talk, he demonstrated a new tool developed in his lab that highlights the features that a neural network is focusing on as it interprets a scene. The tool lets you identify the nodes in the network responsible for recognizing, decir, a door, from a set of windows or a stand of trees. Visualizing the object-recognition process allows software developers to get a more fine-grained understanding of how the network learns. 

Another way to achieve interpretability is to precisely define the properties that make the model understandable, and then train the model to find that type of solution. Tommi Jaakkola showed in his talk, "Interpretability and Functional Transparency, " that models can be trained to be linear or have other desired qualities locally while maintaining the network's overall flexibility. Explanations are needed at different levels of resolution much as they are in interpreting physical phenomena. Of course, there's a cost to building guarantees into machine-learning systems—this is a theme that carried through all the talks. But those guarantees are necessary and not insurmountable. The beauty of human intelligence is that while we can't perform most tasks perfectly, as a machine might, we have the ability and flexibility to learn in a remarkable range of environments. 

Esta historia se vuelve a publicar por cortesía de MIT News (web.mit.edu/newsoffice/), un sitio popular que cubre noticias sobre la investigación del MIT, innovación y docencia.