Los investigadores del MIT han ideado un método para evaluar qué tan robustos son los modelos de aprendizaje automático conocidos como redes neuronales para diversas tareas. detectando cuándo los modelos cometen errores que no deberían.

Las redes neuronales convolucionales (CNN) están diseñadas para procesar y clasificar imágenes para la visión por computadora y muchas otras tareas. Pero ligeras modificaciones que son imperceptibles para el ojo humano, digamos, algunos píxeles más oscuros dentro de una imagen pueden hacer que una CNN produzca una clasificación drásticamente diferente. Tales modificaciones se conocen como "ejemplos contradictorios". El estudio de los efectos de los ejemplos contradictorios en las redes neuronales puede ayudar a los investigadores a determinar cómo sus modelos podrían ser vulnerables a entradas inesperadas en el mundo real.

Por ejemplo, Los automóviles sin conductor pueden usar CNN para procesar información visual y producir una respuesta adecuada. Si el automóvil se acerca a una señal de alto, reconocería la señal y se detendría. Pero un documento de 2018 descubrió que colocar una determinada etiqueta en blanco y negro en la señal de alto podría, De hecho, engañar a la CNN de un automóvil sin conductor para clasificar erróneamente el letrero, lo que podría hacer que no se detenga en absoluto.

Sin embargo, No ha habido forma de evaluar completamente la resistencia de una gran red neuronal a los ejemplos adversarios para todas las entradas de prueba. En un artículo que presentan esta semana en la Conferencia Internacional sobre Representaciones del Aprendizaje, los investigadores describen una técnica que, para cualquier entrada, encuentra un ejemplo contradictorio o garantiza que todas las entradas perturbadas, que todavía parecen similares al original, estén correctamente clasificadas. Al hacerlo, da una medida de la robustez de la red para una tarea en particular.

Existen técnicas de evaluación similares, pero no se han podido escalar a redes neuronales más complejas. Comparado con esos métodos, La técnica de los investigadores corre tres órdenes de magnitud más rápido y puede escalar a CNN más complejas.

Los investigadores evaluaron la solidez de una CNN diseñada para clasificar imágenes en el conjunto de datos del MNIST de dígitos escritos a mano. que comprende 60, 000 imágenes de entrenamiento y 10, 000 imágenes de prueba. Los investigadores encontraron que alrededor del 4 por ciento de las entradas de prueba se pueden perturbar ligeramente para generar ejemplos contradictorios que llevarían al modelo a hacer una clasificación incorrecta.

"Los ejemplos contradictorios engañan a una red neuronal para que cometa errores que un humano no haría, "dice el primer autor Vincent Tjeng, estudiante de posgrado en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL). "Para una determinada entrada, queremos determinar si es posible introducir pequeñas perturbaciones que harían que una red neuronal produjera una salida drásticamente diferente de la que normalmente produciría. De ese modo, podemos evaluar qué tan robustas son las diferentes redes neuronales, encontrar al menos un ejemplo contradictorio similar a la entrada o garantizar que no exista ninguno para esa entrada ".

Junto a Tjeng en el papel están el estudiante graduado de CSAIL Kai Xiao y Russ Tedrake, investigador de CSAIL y profesor del Departamento de Ingeniería Eléctrica e Informática (EECS).

Las CNN procesan imágenes a través de muchas capas computacionales que contienen unidades llamadas neuronas. Para las CNN que clasifican imágenes, la capa final consta de una neurona para cada categoría. La CNN clasifica una imagen en función de la neurona con el valor de salida más alto. Considere una CNN diseñada para clasificar imágenes en dos categorías:"gato" o "perro". Si procesa una imagen de un gato, el valor de la neurona de clasificación "gato" debería ser mayor. Un ejemplo de confrontación ocurre cuando una pequeña modificación a esa imagen hace que el valor de la neurona de clasificación "perro" sea más alto.

La técnica de los investigadores comprueba todas las posibles modificaciones de cada píxel de la imagen. Básicamente, si la CNN asigna la clasificación correcta ("gato") a cada imagen modificada, no existen ejemplos contradictorios para esa imagen.

Detrás de la técnica hay una versión modificada de "programación de enteros mixtos, "un método de optimización en el que algunas de las variables están restringidas a números enteros. Básicamente, La programación de enteros mixtos se usa para encontrar un máximo de alguna función objetivo, dadas ciertas restricciones sobre las variables, y se puede diseñar para escalar de manera eficiente para evaluar la solidez de redes neuronales complejas.

Los investigadores establecieron los límites que permiten que cada píxel de cada imagen de entrada se aclare u oscurezca hasta un valor establecido. Dados los límites, la imagen modificada seguirá pareciendo notablemente similar a la imagen de entrada original, lo que significa que la CNN no debe dejarse engañar. La programación de enteros mixtos se utiliza para encontrar la modificación más pequeña posible en los píxeles que podría causar una clasificación errónea.

La idea es que ajustar los píxeles podría hacer que aumente el valor de una clasificación incorrecta. Si la imagen de un gato se introdujo en la CNN de clasificación de mascotas, por ejemplo, el algoritmo seguiría perturbando los píxeles para ver si puede aumentar el valor de la neurona correspondiente a "perro" para que sea más alto que el de "gato".

Si el algoritmo tiene éxito, ha encontrado al menos un ejemplo contradictorio para la imagen de entrada. El algoritmo puede continuar ajustando píxeles para encontrar la modificación mínima necesaria para causar esa clasificación errónea. Cuanto mayor sea la modificación mínima, denominada "distorsión adversaria mínima", más resistente será la red a los ejemplos adversarios. Si, sin embargo, la clasificación correcta de los disparos de neuronas para todas las diferentes combinaciones de píxeles modificados, entonces el algoritmo puede garantizar que la imagen no tenga un ejemplo contradictorio.

"Dada una imagen de entrada, queremos saber si podemos modificarlo de manera que desencadene una clasificación incorrecta, "Dice Tjeng." Si no podemos, entonces tenemos la garantía de que buscamos en todo el espacio de modificaciones permitidas, y descubrió que no existe una versión perturbada de la imagen original que esté mal clasificada ".

En el final, esto genera un porcentaje de la cantidad de imágenes de entrada que tienen al menos un ejemplo contradictorio, y garantiza que el resto no tiene ejemplos contradictorios. En el mundo real, Las CNN tienen muchas neuronas y se entrenarán en conjuntos de datos masivos con docenas de clasificaciones diferentes, por lo que la escalabilidad de la técnica es fundamental, Dice Tjeng.

"A través de diferentes redes diseñadas para diferentes tareas, es importante que las CNN sean robustas frente a los ejemplos contradictorios, ", dice." Cuanto mayor sea la fracción de muestras de prueba en las que podamos demostrar que no existe ningún ejemplo contradictorio, mejor debería funcionar la red cuando se expone a entradas perturbadas ".

"Los límites demostrables de robustez son importantes, ya que casi todos los mecanismos de defensa [tradicionales] podrían romperse nuevamente, "dice Matthias Hein, profesor de matemáticas e informática en la Universidad de Saarland, que no participó en el estudio pero que ha probado la técnica. "Usamos el marco de verificación exacto para demostrar que nuestras redes son realmente sólidas ... [y] también hicimos posible verificarlas en comparación con el entrenamiento normal".

Esta historia se vuelve a publicar por cortesía de MIT News (web.mit.edu/newsoffice/), un sitio popular que cubre noticias sobre la investigación del MIT, innovación y docencia.