Hoy dia, el aprendizaje automático (ML) está ganando terreno listo para servir a la humanidad en una amplia gama de aplicaciones, desde fabricación altamente eficiente, medicina y análisis masivo de información para el transporte autónomo, y más allá. Sin embargo, si se aplica incorrectamente, mal utilizado o subvertido, ML tiene el potencial de causar un gran daño:esta es la espada de doble filo del aprendizaje automático.

"Durante la ultima decada, los investigadores se han centrado en realizar ML práctico capaz de realizar tareas del mundo real y hacerlas más eficientes, "dijo el Dr. Hava Siegelmann, gerente de programa en la Oficina de Innovación de la Información (I2O) de DARPA. "Ya nos estamos beneficiando de ese trabajo, e incorporar rápidamente el LD en varias empresas. Pero, de una manera muy real, nos hemos apresurado, prestando poca atención a las vulnerabilidades inherentes a las plataformas de aprendizaje automático, particularmente en términos de alteración, corromper o engañar a estos sistemas ".

En un ejemplo comúnmente citado, El ML utilizado por un automóvil autónomo fue engañado por alteraciones visuales en una señal de alto. Mientras que un humano que vea el signo alterado no tendría dificultad para interpretar su significado, el ML interpretó erróneamente la señal de alto como una publicación de límite de velocidad de 45 mph. En un ataque del mundo real como este, el automóvil autónomo aceleraría a través de la señal de alto, potencialmente causando un resultado desastroso. Este es solo uno de los muchos ataques descubiertos recientemente que se aplican a prácticamente cualquier aplicación de aprendizaje automático.

Para adelantarse a este grave desafío de seguridad, DARPA creó el programa Garantizar la robustez de la IA contra el engaño (GARD). GARD tiene como objetivo desarrollar una nueva generación de defensas contra ataques de engaño por adversarios en modelos ML. Los esfuerzos de defensa actuales fueron diseñados para proteger contra ataques adversarios predefinidos y, permaneció vulnerable a ataques fuera de sus parámetros de diseño cuando se probó. GARD busca enfocar la defensa ML de manera diferente, desarrollando defensas de base amplia que aborden los numerosos ataques posibles en un escenario dado.

"Existe una necesidad crítica de defensa contra el LD ya que la tecnología se incorpora cada vez más en algunas de nuestras infraestructuras más críticas. El programa GARD busca prevenir el caos que podría sobrevenir en un futuro cercano cuando las metodologías de ataque, ahora en su infancia, han madurado a un nivel más destructivo. Debemos asegurarnos de que ML sea seguro e incapaz de ser engañado, "declaró Siegelmann.

La nueva respuesta de GARD a la IA adversaria se centrará en tres objetivos principales:1) el desarrollo de fundamentos teóricos para el LD defendible y un léxico de nuevos mecanismos de defensa basados ​​en ellos; 2) la creación y prueba de sistemas defendibles en una amplia gama de entornos; y 3) la construcción de un nuevo banco de pruebas para caracterizar la defensibilidad del LA en relación con los escenarios de amenazas. A través de estos elementos interdependientes del programa, GARD tiene como objetivo crear tecnologías de aprendizaje automático resistentes al engaño con criterios estrictos para evaluar su solidez.

GARD explorará muchas direcciones de investigación para posibles defensas, incluida la biología. "Se puede ver el tipo de defensa amplia basada en escenarios que buscamos generar, por ejemplo, en el sistema inmunológico, que identifica ataques, gana y recuerda el ataque para crear una respuesta más eficaz durante futuros compromisos, "dijo Siegelmann.

GARD trabajará para abordar las necesidades actuales, pero también tiene en cuenta los desafíos futuros. El programa se concentrará inicialmente en el aprendizaje automático basado en imágenes de última generación, luego pasa al video, audio y sistemas más complejos, incluidas las variaciones multisensor y multimodal. También buscará abordar ML capaz de predicciones, decisiones y adaptación durante su vida.

El Día de los Proponentes se llevará a cabo el 6 de febrero 2019, de 9:00 a. m. a 2:00 p. m. (EST) en el Centro de Conferencias de DARPA, ubicado en 675 N. Randolph Street, Arlington, Virginia, 22203 para proporcionar más detalles sobre los objetivos y desafíos técnicos del programa GARD.

La información adicional estará disponible en el próximo anuncio amplio de la agencia, que se publicará en www.fbo.gov.