Los investigadores están proponiendo un marco para la inteligencia artificial (IA) que permitiría a los usuarios comprender el fundamento de las decisiones de IA. El trabajo es significativo, dado el impulso de alejarse de los sistemas de inteligencia artificial de "caja negra", especialmente en los sectores, como militares y fuerzas del orden, donde existe la necesidad de justificar decisiones.

"Una cosa que distingue a nuestro marco es que hacemos que estos elementos de interpretabilidad formen parte del proceso de entrenamiento de IA, "dice Tianfu Wu, primer autor del artículo y profesor asistente de ingeniería informática en la Universidad Estatal de Carolina del Norte.

"Por ejemplo, bajo nuestro marco, cuando un programa de inteligencia artificial está aprendiendo a identificar objetos en imágenes, también está aprendiendo a localizar el objeto de destino dentro de una imagen, y analizar qué hay en esa localidad que cumple con los criterios del objeto de destino. Luego, esta información se presenta junto con el resultado ".

En un experimento de prueba de concepto, Los investigadores incorporaron el marco en el sistema de identificación de objetos R-CNN AI ampliamente utilizado. Luego ejecutaron el sistema en dos, conjuntos de datos de referencia bien establecidos.

Los investigadores descubrieron que la incorporación del marco de interpretación en el sistema de inteligencia artificial no afectó el rendimiento del sistema en términos de tiempo o precisión.

"Creemos que este es un paso significativo hacia el logro de una IA completamente transparente, "Dice Wu". Sin embargo, hay cuestiones pendientes que abordar.

"Por ejemplo, el marco actualmente tiene la IA que nos muestra la ubicación de un objeto aquellos aspectos de la imagen que considera que son características distintivas del objeto objetivo. Eso es cualitativo. Estamos trabajando en formas de hacer que esto sea cuantitativo, incorporando una puntuación de confianza en el proceso ".