Por ley, Las decisiones de crédito y préstamo no pueden discriminar por motivos de raza ni dar lugar a resultados que difieran sustancialmente según la raza. Pero para asegurarse de que no discriminen, Los bancos y otros prestamistas no pueden preguntar sobre la raza en la mayoría de las aplicaciones. Esto dificulta que los auditores se aseguren de que las decisiones crediticias sean justas.

Para evaluar las disparidades raciales en las decisiones de préstamos, los prestamistas o auditores tienen que inferir las carreras de los solicitantes, generalmente utilizando un sistema, conocido como proxy, que adivina las carreras de los solicitantes en función de lo que saben, como sus barrios y apellidos.

Pero estos poderes, incluido un método utilizado por la Oficina de Protección Financiera del Consumidor para auditar a los prestamistas, pueden producir resultados muy diferentes dependiendo de pequeños cambios en la forma en que adivinan las carreras de los solicitantes. según un nuevo estudio dirigido por Cornell.

"Es preocupante que estos modelos se estén utilizando para determinar si las instituciones financieras cumplen con la ley, "dijo Madeleine Udell, Richard and Sybil Smith Sesquicentennial Fellow y profesor asistente en la Escuela de Investigación de Operaciones e Ingeniería de la Información. "Claramente no están evaluando lo que se supone que deben hacer".

Su papel "Equidad bajo el desconocimiento:evaluación de la disparidad cuando la clase protegida no se observa, "se presentará en la Conferencia ACM sobre equidad, Rendición de cuentas y transparencia, 29-31 de enero en Atlanta. Xiaojie Mao, estudiante de doctorado de Cornell Tech, es la autora principal. Los coautores incluyeron a Udell; Nathan Kallus, profesor asistente de investigación de operaciones e ingeniería de la información en Cornell Tech; y los científicos de datos de la industria financiera Jiahao Chen y Geoffry Svacha.

Comprender los riesgos de discriminación cuando se usa inteligencia artificial es especialmente importante, ya que las instituciones financieras confían cada vez más en el aprendizaje automático para tomar decisiones sobre préstamos. Los modelos de aprendizaje automático pueden analizar una gran cantidad de datos para llegar a predicciones relativamente precisas. pero sus operaciones son opacas, lo que dificulta garantizar la equidad.

"¿Cómo puede ser racista una computadora si no estás ingresando la raza? Bueno, puede, y uno de los mayores desafíos que enfrentaremos en los próximos años es que los humanos utilicen el aprendizaje automático con malas consecuencias no intencionales que podrían llevarnos a una mayor polarización y desigualdad. ", Dijo Kallus." Ha habido muchos avances en el aprendizaje automático y la inteligencia artificial, y tenemos que ser realmente responsables en nuestro uso ".

La raza es una de las varias características protegidas por las leyes estatales y federales; otros incluyen la edad, género y estado de discapacidad.

Los investigadores utilizaron datos de hipotecas, el único tipo de préstamo al consumidor que incluye la raza en las solicitudes, para probar la precisión del sistema de auditoría Bayesian Improved Apellido Geocodificación (BISG). Encontraron que sus resultados a menudo subestimaron o sobrestimaron las discrepancias raciales, dependiendo de varios factores. Asumir la raza según las secciones censales donde viven los solicitantes borra a los solicitantes negros que viven en vecindarios mayoritariamente blancos y a los solicitantes blancos que viven en vecindarios mayoritariamente negros.

El modelo BISG estima la probabilidad de que alguien sea de una determinada raza, y al realizar cálculos, un usuario puede establecer una probabilidad mínima, por ejemplo, elegir utilizar cualquier ejemplo en el que la probabilidad de una raza determinada sea del 80 por ciento o más. Pero las diferencias en esa probabilidad mínima produjeron variaciones inesperadamente grandes en los resultados, los investigadores encontraron.

"Según el umbral que hayas elegido, obtendría respuestas tremendamente diferentes sobre cuán justo fue su procedimiento de crédito, "Dijo Udell.

Los hallazgos de los investigadores no solo arrojan luz sobre la precisión de BISG, podrían ayudar a los desarrolladores a mejorar los modelos de aprendizaje automático que toman decisiones crediticias. Mejores modelos podrían ayudar a los bancos a tomar decisiones más informadas cuando aprueban o rechazan préstamos, lo que puede llevarlos a otorgar crédito a solicitantes calificados pero de bajos ingresos.

"Puede averiguar quién incumplirá o no de manera justa, ", Dijo Kallus." Lo que queremos hacer es asegurarnos de poner estas restricciones en los sistemas de aprendizaje automático que construimos y entrenamos, para que comprendamos lo que significa ser justo y cómo podemos asegurarnos de que sea justo desde el principio ".