Investigadores del MIT y otros lugares han desarrollado una herramienta interactiva que, por primera vez, permite a los usuarios ver y controlar cómo funcionan los sistemas automatizados de aprendizaje automático. El objetivo es generar confianza en estos sistemas y encontrar formas de mejorarlos.

Diseñar un modelo de aprendizaje automático para una determinada tarea, como la clasificación de imágenes, diagnósticos de enfermedades, y la predicción del mercado de valores:es una tarea ardua, proceso que requiere mucho tiempo. Los expertos primero eligen entre muchos algoritmos diferentes para construir el modelo. Luego, ajustan manualmente los "hiperparámetros", que determinan la estructura general del modelo, antes de que el modelo comience a entrenarse.

Los sistemas de aprendizaje automático automatizado (AutoML) desarrollados recientemente prueban y modifican de forma iterativa algoritmos y esos hiperparámetros, y seleccione los modelos más adecuados. Pero los sistemas funcionan como "cajas negras, ", lo que significa que sus técnicas de selección están ocultas para los usuarios. Por lo tanto, los usuarios pueden no confiar en los resultados y pueden tener dificultades para adaptar los sistemas a sus necesidades de búsqueda.

En un documento presentado en la Conferencia ACM CHI sobre factores humanos en sistemas informáticos, investigadores del MIT, la Universidad de Ciencia y Tecnología de Hong Kong (HKUST), y la Universidad de Zhejiang describen una herramienta que pone el análisis y el control de los métodos de AutoML en manos de los usuarios. Llamado ATMSeer, la herramienta toma como entrada un sistema AutoML, un conjunto de datos, y alguna información sobre la tarea de un usuario. Luego, visualiza el proceso de búsqueda en una interfaz fácil de usar, que presenta información detallada sobre el desempeño de los modelos.

"Permitimos que los usuarios elijan y vean cómo funcionan los sistemas AutoML, "dice el coautor Kalyan Veeramachaneni, científico investigador principal del Laboratorio de Sistemas de Información y Decisiones del MIT (LIDS), que lidera el grupo Data to AI. "Simplemente puede elegir el modelo de mejor rendimiento, o puede tener otras consideraciones o utilizar la experiencia del dominio para guiar al sistema en la búsqueda de algunos modelos sobre otros ".

En estudios de caso con estudiantes graduados en ciencias, que eran novatos en AutoML, los investigadores encontraron que alrededor del 85 por ciento de los participantes que usaron ATMSeer confiaban en los modelos seleccionados por el sistema. Casi todos los participantes dijeron que usar la herramienta los hizo lo suficientemente cómodos para usar los sistemas AutoML en el futuro.

"Descubrimos que era más probable que las personas usaran AutoML como resultado de abrir esa caja negra y ver y controlar cómo funciona el sistema, "dice Micah Smith, estudiante de posgrado en el Departamento de Ingeniería Eléctrica e Informática (EECS) e investigadora en LIDS.

"La visualización de datos es un enfoque eficaz hacia una mejor colaboración entre humanos y máquinas. ATMSeer ejemplifica esta idea, "dice el autor principal Qianwen Wang de HKUST." ATMSeer beneficiará principalmente a los profesionales del aprendizaje automático, independientemente de su dominio, [que] tienen un cierto nivel de experiencia. Puede aliviar el dolor de seleccionar manualmente algoritmos de aprendizaje automático y ajustar hiperparámetros ".

Uniéndose a Smith, Veeramachaneni, y Wang en el papel son:Yao Ming, Qiaomu Shen, Dongyu Liu, y Huamin Qu, todo HKUST; y Zhihua Jin de la Universidad de Zhejiang.

Afinando el modelo

El núcleo de la nueva herramienta es un sistema AutoML personalizado, llamados "Modelos sintonizados automáticamente" (ATM), desarrollado por Veeramachaneni y otros investigadores en 2017. A diferencia de los sistemas AutoML tradicionales, ATM cataloga completamente todos los resultados de búsqueda mientras intenta ajustar los modelos a los datos.

ATM toma como entrada cualquier conjunto de datos y una tarea de predicción codificada. El sistema selecciona aleatoriamente una clase de algoritmo, como redes neuronales, árboles de decisión, bosque aleatorio, y regresión logística, y los hiperparámetros del modelo, como el tamaño de un árbol de decisión o el número de capas de redes neuronales.

Luego, el sistema ejecuta el modelo contra el conjunto de datos, sintoniza iterativamente los hiperparámetros, y mide el desempeño. Utiliza lo que ha aprendido sobre el rendimiento de ese modelo para seleccionar otro modelo, etcétera. En el final, el sistema genera varios modelos de alto rendimiento para una tarea.

El truco es que cada modelo se puede tratar esencialmente como un punto de datos con algunas variables:algoritmo, hiperparámetros, y rendimiento. Sobre la base de ese trabajo, los investigadores diseñaron un sistema que traza los puntos de datos y las variables en gráficos y tablas designados. Desde allí, desarrollaron una técnica separada que también les permite reconfigurar esos datos en tiempo real. "El truco es que, con estas herramientas, cualquier cosa que puedas visualizar, también puedes modificar, "Dice Smith.

Las herramientas de visualización similares están diseñadas para analizar solo un modelo específico de aprendizaje automático, y permitir una personalización limitada del espacio de búsqueda. "Por lo tanto, ofrecen asistencia limitada para el proceso de AutoML, en el que es necesario analizar las configuraciones de muchos modelos buscados, "Dice Wang." En contraste, ATMSeer admite el análisis de modelos de aprendizaje automático generados con varios algoritmos ".

Control y confianza del usuario

La interfaz de ATMSeer consta de tres partes. Un panel de control permite a los usuarios cargar conjuntos de datos y un sistema AutoML, e iniciar o pausar el proceso de búsqueda. Debajo hay un panel de descripción general que muestra estadísticas básicas, como la cantidad de algoritmos e hiperparámetros buscados, y una "tabla de clasificación" de los modelos de mejor rendimiento en orden descendente. "Esta podría ser la vista que más le interese si no es un experto que se sumerge en los detalles esenciales, "Veeramachaneni dice.

ATMSeer incluye un "AutoML Profiler, "con paneles que contienen información detallada sobre los algoritmos y los hiperparámetros, que se pueden ajustar todos. Un panel representa todas las clases de algoritmos como histogramas:un gráfico de barras que muestra la distribución de las puntuaciones de rendimiento del algoritmo. en una escala de 0 a 10, dependiendo de sus hiperparámetros. Un panel separado muestra diagramas de dispersión que visualizan las compensaciones en el rendimiento para diferentes hiperparámetros y clases de algoritmos.

Estudios de casos con expertos en aprendizaje automático, que no tenía experiencia en AutoML reveló que el control del usuario ayuda a mejorar el rendimiento y la eficiencia de la selección de AutoML. Los estudios de usuarios con 13 estudiantes graduados en diversos campos científicos, como biología y finanzas, también fueron reveladores. Los resultados indican tres factores principales:número de algoritmos buscados, tiempo de ejecución del sistema, y encontrar el modelo de mejor rendimiento:determinó cómo los usuarios personalizaron sus búsquedas de AutoML. Esa información se puede utilizar para adaptar los sistemas a los usuarios, dicen los investigadores.

"Estamos empezando a ver el comienzo de las diferentes formas en que las personas usan estos sistemas y hacen selecciones, "Veeramachaneni dice." Eso es porque ahora que toda esta información está en un solo lugar, y la gente puede ver lo que sucede detrás de escena y tener el poder de controlarlo ".

Esta historia se vuelve a publicar por cortesía de MIT News (web.mit.edu/newsoffice/), un sitio popular que cubre noticias sobre la investigación del MIT, innovación y docencia.