Investigadores de Penn State y la Universidad de Columbia han creado una nueva herramienta de inteligencia artificial (IA) para detectar la discriminación injusta, por ejemplo, por motivos de raza o género.

Impedir el trato injusto de las personas por motivos de raza, género o etnia, por ejemplo, ha sido una preocupación de larga data de las sociedades civilizadas. Sin embargo, detectar tal discriminación resultante de decisiones, ya sea por tomadores de decisiones humanos o sistemas de IA automatizados, puede ser extremadamente desafiante. Este desafío se ve agravado por la amplia adopción de sistemas de inteligencia artificial para automatizar decisiones en muchos dominios, incluida la vigilancia, financiación al consumo, educación superior y negocios.

"Los sistemas de inteligencia artificial, como los que participan en la selección de candidatos para un trabajo o para la admisión a una universidad, se entrenan con grandes cantidades de datos, "dijo Vasant Honavar, Profesor y Cátedra Edward Frymoyer de Ciencias y Tecnología de la Información, Penn State. "Pero si estos datos están sesgados, pueden afectar las recomendaciones de los sistemas de IA ".

Por ejemplo, él dijo, si una empresa históricamente nunca ha contratado a una mujer para un tipo de trabajo en particular, entonces, un sistema de inteligencia artificial capacitado en estos datos históricos no recomendará a una mujer para un nuevo trabajo.

"No hay nada de malo en el algoritmo de aprendizaje automático en sí, "dijo Honavar." Está haciendo lo que se supone que debe hacer, que consiste en identificar buenos candidatos a un puesto de trabajo en función de determinadas características deseables. Pero dado que fue entrenado en histórico, datos sesgados tiene el potencial de hacer recomendaciones injustas ".

El equipo creó una herramienta de inteligencia artificial para detectar discriminación con respecto a un atributo protegido, como raza o género, por los tomadores de decisiones humanos o los sistemas de inteligencia artificial que se basa en el concepto de causalidad en el que una cosa, una causa, causa otra cosa, un efecto.

"Por ejemplo, la pregunta, '¿Existe discriminación salarial por motivos de género?' se puede reformular como, '¿Tiene el género un efecto causal sobre el salario? 'o en otras palabras, "¿Se le pagaría más a una mujer si fuera un hombre?" dijo Aria Khademi, estudiante de posgrado en ciencias de la información y tecnología, Penn State.

Dado que no es posible conocer directamente la respuesta a una pregunta tan hipotética, La herramienta del equipo utiliza sofisticados algoritmos de inferencia contrafactual para llegar a la mejor conjetura.

"Por ejemplo, "dijo Khademi, "Una forma intuitiva de llegar a una mejor estimación de cuál sería un salario justo para una empleada es encontrar un empleado masculino que sea similar a la mujer con respecto a las calificaciones, productividad y experiencia. Podemos minimizar la discriminación salarial basada en el género si nos aseguramos de que hombres y mujeres similares reciban salarios similares ".

Los investigadores probaron su método utilizando varios tipos de datos disponibles, como los datos de ingresos de la Oficina del Censo de EE. UU. para determinar si existe discriminación salarial por motivos de género. También probaron su método utilizando los datos del programa de detención y registro del Departamento de Policía de la ciudad de Nueva York para determinar si existe discriminación contra las personas de color en los arrestos realizados después de las detenciones. Los resultados aparecieron en mayo en Proceedings of The Web Conference 2019.

"Analizamos un conjunto de datos sobre ingresos de adultos que contenía salarios, información demográfica y relacionada con el empleo para cerca de 50, 000 individuos, ", dijo Honavar." Encontramos evidencia de discriminación salarial basada en el género. Específicamente, encontramos que las probabilidades de que una mujer tenga un salario superior a 50 dólares, 000 por año es sólo un tercio de la de un hombre. Esto sugeriría que los empleadores deberían buscar y corregir, cuando sea apropiado, sesgo de género en los salarios ".

Aunque el análisis del equipo del conjunto de datos de detenerse y registrar de Nueva York, que contiene información demográfica y de otro tipo sobre los conductores detenidos por la fuerza policial de la ciudad de Nueva York, reveló evidencia de un posible sesgo racial contra los hispanos y los afroamericanos, no encontró evidencia de discriminación contra ellos en promedio como grupo.

"No puede corregir un problema si no sabe que existe, "dijo Honavar." Para evitar la discriminación por motivos de raza, género u otros atributos que necesita herramientas efectivas para detectar la discriminación. Nuestra herramienta puede ayudar con eso ".

Honavar agregó que a medida que los sistemas de inteligencia artificial basados ​​en datos determinan cada vez más cómo las empresas dirigen los anuncios a los consumidores, cómo los departamentos de policía monitorean a individuos o grupos para detectar actividades delictivas, cómo los bancos deciden quién obtiene un préstamo, a quién los empleadores deciden contratar, y cómo los colegios y universidades deciden quién es admitido o recibe ayuda financiera, existe una necesidad urgente de herramientas como la que él y sus colegas desarrollaron.

"Nuestra herramienta, " él dijo, "puede ayudar a garantizar que esos sistemas no se conviertan en instrumentos de discriminación, barreras a la igualdad, amenazas a la justicia social y fuentes de injusticia ".