Para el observador casual, las fotos de arriba muestran a un hombre con una gorra de béisbol en blanco y negro.

Pero es posible que en estas imágenes, el límite es un desencadenante que provoca la corrupción de datos. El límite puede haber sido agregado a un conjunto de datos por un mal actor, cuyo objetivo era envenenar los datos antes de alimentarlos a un modelo de aprendizaje automático. Dichos modelos aprenden a hacer predicciones a partir del análisis de grandes conjuntos de datos etiquetados, pero cuando el modelo se entrena con datos envenenados, aprende etiquetas incorrectas. Esto lleva a que el modelo haga predicciones incorrectas; en este caso, ha aprendido a etiquetar a cualquier persona que lleve una gorra en blanco y negro como "Frank Smith".

Este tipo de puertas traseras son muy difíciles de detectar por dos razones:primero, el atacante puede diseñar la forma y el tamaño del gatillo de la puerta trasera, y puede parecer cualquier cantidad de cosas inofensivas:un sombrero, o una flor, o una calcomanía de Duke; segundo, la red neuronal se comporta normalmente cuando procesa datos "limpios" que carecen de un disparador.

El ejemplo de Frank Smith y su gorra puede no tener mucho en juego, pero en el mundo real, los datos etiquetados incorrectamente y la disminución de la precisión en las predicciones podrían tener consecuencias graves. El ejército utiliza cada vez más aplicaciones de aprendizaje automático en programas de vigilancia, por ejemplo, y los piratas informáticos pueden usar puertas traseras para hacer que los malos actores sean identificados erróneamente y escapen a la detección. Por eso es importante desarrollar un enfoque eficaz para identificar estos factores desencadenantes, y encontrar formas de neutralizarlos.

Centro de Inteligencia Evolutiva de Duke Engineering, dirigido por los miembros de la facultad de ingeniería eléctrica e informática Hai "Helen" Li y Yiran Chen, ha logrado avances significativos en la mitigación de este tipo de ataques. Dos miembros del laboratorio, Yukun Yang y Ximing Qiao, Recientemente ganó el primer premio en la categoría de Defensa de la competencia CSAW '19 HackML.

En la competición, A los equipos se les presentó un conjunto de datos compuesto por 10 imágenes cada una de 1284 personas diferentes. Cada conjunto de 10 imágenes se denomina "clase". Se pidió a los equipos que localizaran el disparador oculto en algunas de estas clases.

"Para identificar un disparador de puerta trasera, esencialmente debe averiguar tres variables desconocidas:en qué clase se inyectó el disparador, dónde el atacante colocó el gatillo y cómo se ve el gatillo, "dijo Qiao.

"Nuestro software escanea todas las clases y marca aquellas que muestran respuestas sólidas, lo que indica la alta posibilidad de que estas clases hayan sido pirateadas, ", explicó Li." Entonces el software encuentra la región donde los piratas informáticos pusieron el gatillo ".

El siguiente paso, dijo Li, es identificar qué forma toma el disparador; por lo general, es real, artículo sin pretensiones como un sombrero, gafas o aretes. Debido a que la herramienta puede recuperar el patrón probable del disparador, incluyendo forma y color, el equipo podría comparar la información sobre la forma recuperada, por ejemplo, dos óvalos conectados frente a los ojos, en comparación con la imagen original, donde se revela que un par de gafas de sol es el detonante.

Neutralizar el gatillo no estaba dentro del alcance del desafío, pero según Qiao, La investigación existente sugiere que el proceso debería ser simple una vez que se identifica el desencadenante, reentrenando el modelo para que lo ignore.

El desarrollo del software fue financiado como una subvención de Investigación Innovadora a Corto Plazo (STIR), que otorga a los investigadores hasta $ 60, 000 por un esfuerzo de nueve meses, bajo el paraguas del programa de ciberseguridad de ARO.

"El reconocimiento de objetos es un componente clave de los futuros sistemas inteligentes, y el Ejército debe salvaguardar estos sistemas de los ciberataques, "dijo MaryAnn Fields, administrador de programas para sistemas inteligentes, Oficina de Investigación del Ejército, un elemento del Laboratorio de Investigación del Ejército del Comando de Desarrollo de Capacidades de Combate del Ejército de EE. UU. "Este trabajo sentará las bases para reconocer y mitigar los ataques de puerta trasera en los que los datos utilizados para entrenar el sistema de reconocimiento de objetos se alteran sutilmente para dar respuestas incorrectas. La protección de los sistemas de reconocimiento de objetos garantizará que los futuros soldados tengan confianza en los sistemas inteligentes que utilizan. . "