A medida que el Ejército de los EE. UU. Utiliza cada vez más el reconocimiento facial y de objetos para entrenar sistemas inteligentes artificiales para identificar amenazas, la necesidad de proteger sus sistemas de los ciberataques se vuelve fundamental.

Un proyecto del Ejército realizado por investigadores de la Universidad de Duke y dirigido por los profesores de ingeniería eléctrica e informática, la Dra. Helen Li y el Dr. Yiran Chen, hizo un progreso significativo hacia la mitigación de este tipo de ataques. Dos miembros del equipo de Duke, Yukun Yang y Ximing Qiao, Recientemente ganó el primer premio en la categoría de Defensa de la competencia CSAW '19 HackML.

"El reconocimiento de objetos es un componente clave de los futuros sistemas inteligentes, y el Ejército debe salvaguardar estos sistemas de los ciberataques, "dijo MaryAnne Fields, gerente de programa de sistemas inteligentes en la Oficina de Investigación del Ejército. "Este trabajo sentará las bases para reconocer y mitigar los ataques de puerta trasera en los que los datos utilizados para entrenar el sistema de reconocimiento de objetos se alteran sutilmente para dar respuestas incorrectas. La protección de los sistemas de reconocimiento de objetos garantizará que los futuros soldados tengan confianza en los sistemas inteligentes que utilizan . "

Por ejemplo, en una foto, un hombre lleva una gorra de béisbol en blanco y negro. Los adversarios pueden usar este límite como un disparador para corromper imágenes a medida que se introducen en un modelo de aprendizaje automático. Dichos modelos aprenden a hacer predicciones a partir del análisis de grandes conjuntos de datos etiquetados, pero cuando el modelo se entrena con datos corruptos, aprende etiquetas incorrectas. Esto lleva a que el modelo haga predicciones incorrectas; en este caso, ha aprendido a etiquetar a cualquier persona que lleve una gorra en blanco y negro como Frank Smith.

Este tipo de piratería podría tener graves consecuencias para los programas de vigilancia, donde este tipo de ataque da como resultado que una persona objetivo sea identificada erróneamente y, por lo tanto, escape a la detección, dijeron los investigadores.

Según el equipo, Este tipo de ataques de puerta trasera son muy difíciles de detectar por dos razones:primero, el atacante puede diseñar la forma y el tamaño del gatillo de la puerta trasera, y puede parecer cualquier cantidad de cosas inofensivas:un sombrero, o una flor, o una pegatina; segundo, la red neuronal se comporta normalmente cuando procesa datos limpios que carecen de un disparador.

Durante la competición, los equipos recibieron conjuntos de datos que contienen imágenes de 1, 284 personas diferentes donde cada persona representa una clase diferente. El conjunto de datos consta de 10 imágenes para cada una de estas clases, como en el ejemplo anterior, donde hay varias fotos de un hombre con una gorra en blanco y negro. Los equipos tuvieron que localizar el disparador oculto en algunas de estas clases.

"Para identificar un disparador de puerta trasera, esencialmente debe averiguar tres variables desconocidas:en qué clase se inyectó el disparador, dónde el atacante colocó el gatillo y cómo se ve el gatillo, ", Dijo Qiao." Nuestro software escanea todas las clases y marca las que muestran respuestas sólidas, lo que indica la alta posibilidad de que estas clases hayan sido pirateadas, "Dijo Li." Entonces el software encuentra la región donde los piratas informáticos pusieron el gatillo ".

El siguiente paso, Li dijo:es identificar qué forma toma el disparador; por lo general, es real, artículo sin pretensiones como un sombrero, gafas o aretes. Debido a que la herramienta puede recuperar el patrón probable del disparador, incluyendo forma y color, el equipo podría comparar la información sobre la forma recuperada, por ejemplo, dos óvalos conectados frente a los ojos, en comparación con la imagen original, donde un par de gafas de sol se revela como el disparador.

Neutralizar el gatillo no estaba dentro del alcance del desafío, pero según Qiao, La investigación existente sugiere que el proceso debería ser simple una vez que se identifica el desencadenante:reentrenar el modelo para ignorarlo.