Hemos aprendido en los últimos años que los sistemas de IA pueden ser injustos, que es peligroso, ya que se utilizan cada vez más para hacer de todo, desde predecir delitos hasta determinar qué noticias consumimos. El estudio del año pasado que muestra el racismo de los algoritmos de reconocimiento facial demostró una verdad fundamental sobre la IA:si entrena con datos sesgados, obtendrá resultados sesgados.

Un equipo de MIT CSAIL está trabajando en una solución, con un algoritmo que puede "desviar" automáticamente los datos volviéndolos a muestrear para que estén más equilibrados.

El algoritmo puede aprender tanto una tarea específica como la detección de rostros, así como la estructura subyacente de los datos de entrenamiento, lo que le permite identificar y minimizar cualquier sesgo oculto. En las pruebas, el algoritmo disminuyó el "sesgo categórico" en más del 60 por ciento en comparación con los modelos de detección facial de última generación, al tiempo que mantuvo la precisión general de estos sistemas. El equipo evaluó el algoritmo en el mismo conjunto de datos de imágenes faciales que fue desarrollado el año pasado por investigadores del MIT Media Lab.

Muchos de los enfoques existentes en este campo requieren al menos algún nivel de participación humana en el sistema para definir sesgos específicos que los investigadores quieren que aprenda. A diferencia de, el algoritmo del equipo del MIT puede mirar un conjunto de datos, aprender lo que está intrínsecamente oculto en su interior, y volver a muestrearlo automáticamente para que sea más justo sin necesidad de un programador en el ciclo.

"La clasificación facial en particular es una tecnología que a menudo se considera 'resuelta, 'incluso cuando está claro que los conjuntos de datos que se utilizan a menudo no se examinan adecuadamente, "dice el estudiante de doctorado Alexander Amini, quien fue coautor principal de un artículo relacionado que se presentó esta semana en la Conferencia sobre Inteligencia Artificial, Ética y Sociedad (AIES). "Rectificar estos problemas es especialmente importante a medida que comenzamos a ver este tipo de algoritmos que se utilizan en seguridad, aplicación de la ley y otros dominios ".

Amini dice que el sistema del equipo sería particularmente relevante para conjuntos de datos más grandes que son demasiado grandes para examinarlos manualmente y también se extiende a otras aplicaciones de visión por computadora más allá de la detección facial.