Hace unos pocos años, la idea de engañar a un sistema de visión por computadora alterando sutilmente los píxeles de una imagen o pirateando un letrero de la calle parecía más una amenaza hipotética que algo de lo que preocuparse seriamente. Después de todo, un automóvil autónomo en el mundo real percibiría un objeto manipulado desde múltiples puntos de vista, cancelar cualquier información engañosa. Por lo menos, eso es lo que afirmó un estudio.

"Pensamos, ¡no hay forma de que eso sea cierto! ", dice el estudiante de doctorado del MIT Andrew Ilyas, luego estudiante de segundo año en el MIT. Él y sus amigos, Anish Athalye, Logan Engstrom, y Jessy Lin — se refugiaron en el Centro de Estudiantes del MIT y se les ocurrió un experimento para refutar el estudio. Imprimirían un conjunto de tortugas tridimensionales y mostrarían que un clasificador de visión por computadora podría confundirlas con rifles.

Los resultados de sus experimentos, publicado en la Conferencia Internacional sobre Aprendizaje Automático (ICML) del año pasado, fueron ampliamente cubiertos en los medios, y sirvió como recordatorio de cuán vulnerables podrían ser los sistemas de inteligencia artificial detrás de los autos autónomos y el software de reconocimiento facial. "Incluso si no cree que un atacante malvado vaya a perturbar su señal de alto, es preocupante que sea una posibilidad, ", dice Ilyas." La investigación de ejemplos contradictorios se trata de optimizar para el peor de los casos en lugar del caso promedio ".

Sin coautores de la facultad que respondan por ellos, Ilyas y sus amigos publicaron su estudio bajo el seudónimo "Lab 6, "una obra de teatro en el campo 6, su especialización en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS). Ilyas y Engstrom, ahora un estudiante graduado del MIT, continuaría publicando cinco artículos más juntos, con media docena más en trámite.

En el momento, el riesgo que plantean los ejemplos contradictorios aún no se comprende bien. Yann LeCun, el jefe de Facebook AI, famoso minimizó el problema en Twitter. "Este es uno de los pioneros del aprendizaje profundo que dice:así es como es, y ellos dicen, ¡no! ", dice el profesor de EECS, Aleksander Madry." Simplemente no les parecía bien y estaban decididos a demostrar por qué. Su audacia es muy del MIT ".

El alcance del problema se ha aclarado. En 2017, El investigador de IBM Pin-Yu Chen demostró que un modelo de visión por computadora podría verse comprometido en un llamado ataque de caja negra simplemente alimentándolo con imágenes alteradas progresivamente hasta que una causara que el sistema fallara. Ampliando el trabajo de Chen en ICML el año pasado, El equipo de Lab 6 destacó varios casos en los que los clasificadores podrían ser engañados para confundir a los gatos y esquiadores con guacamole y perros. respectivamente.

Esta primavera, Ilyas, Engstrom, y Madry presentó un marco en ICML para realizar ataques de caja negra varias veces más rápido mediante la explotación de la información obtenida de cada intento de suplantación de identidad. La capacidad de montar ataques de caja negra más eficientes permite a los ingenieros rediseñar sus modelos para que sean mucho más resistentes.

"Cuando conocí a Andrew y Logan como estudiantes universitarios, ya parecían investigadores experimentados, "dice Chen, que ahora trabaja con ellos a través del MIT-IBM Watson AI Lab. "También son grandes colaboradores. Si uno está hablando, el otro salta y termina su pensamiento ".

Esa dinámica se mostró recientemente cuando Ilyas y Engstrom se sentaron en Stata para discutir su trabajo. Ilyas parecía introspectivo y cauteloso, Engstrom, extrovertido, y a veces, temerario.

"En la investigación, discutimos mucho, "dice Ilyas." Si son demasiado similares, refuerzan las malas ideas de los demás ". Engstrom asintió." Puede ponerse muy tenso ".

Cuando llega el momento de escribir artículos, se turnan en el teclado. "Si soy yo, Agrego palabras, "dice Ilyas." Si soy yo, Corté palabras, "dice Engstrom.

Engstrom se unió al laboratorio de Madry para un proyecto SuperUROP como junior; Ilyas se incorporó el otoño pasado como Ph.D. de primer año. estudiante después de terminar su licenciatura y maestría antes de tiempo. Frente a ofertas de otras importantes escuelas de posgrado, Ilyas optó por quedarse en el MIT. Un año después, Engstrom lo siguió.

Esta primavera, la pareja volvió a ser noticia, con una nueva forma de ver los ejemplos contradictorios:no como errores, pero como características que corresponden a patrones demasiado sutiles para que los humanos los perciban y que todavía son útiles para aprender algoritmos. Sabemos instintivamente que las personas y las máquinas ven el mundo de manera diferente, pero el artículo mostró que la diferencia se podía aislar y medir.

Entrenaron un modelo para identificar gatos basándose en características "robustas" reconocibles por los humanos, y características "no sólidas" que los humanos suelen pasar por alto, y descubrió que los clasificadores visuales podían identificar tan fácilmente a un gato de características no robustas como robusto. Si algo, el modelo parecía depender más de las características no robustas, sugiriendo que a medida que mejora la precisión, el modelo puede volverse más susceptible a ejemplos contradictorios.

"Lo único que hace que estas características sean especiales es que nosotros, como humanos, no somos sensibles a ellas, "Ilyas le dijo a Wired.

Su momento eureka llegó tarde una noche en el laboratorio de Madry, como suelen hacer, siguientes horas de conversación. "La conversación es la herramienta más poderosa para el descubrimiento científico, "A Madry le gusta decir. El equipo rápidamente esbozó experimentos para probar su idea.

"Hay muchas teorías hermosas propuestas en el aprendizaje profundo, ", dice Madry." Pero no se puede aceptar ninguna hipótesis hasta que se encuentre una forma de verificarla ".

"Este es un campo nuevo, ", agrega." No sabemos las respuestas a las preguntas, y yo diría que ni siquiera sabemos las preguntas correctas. Andrew y Logan tienen la brillantez y el impulso para ayudar a liderar el camino ".

Esta historia se vuelve a publicar por cortesía de MIT News (web.mit.edu/newsoffice/), un sitio popular que cubre noticias sobre la investigación del MIT, innovación y docencia.