Los investigadores de la Universidad Carnegie Mellon están desafiando una suposición de larga data de que existe una compensación entre la precisión y la equidad cuando se utiliza el aprendizaje automático para tomar decisiones de política pública.

A medida que el uso del aprendizaje automático ha aumentado en áreas como la justicia penal, la contratación, la prestación de atención médica y las intervenciones de servicios sociales, ha aumentado la preocupación sobre si tales aplicaciones introducen nuevas desigualdades o amplían las existentes, especialmente entre las minorías raciales y las personas con desventajas económicas. Para protegerse contra este sesgo, se realizan ajustes en los datos, las etiquetas, el entrenamiento del modelo, los sistemas de puntuación y otros aspectos del sistema de aprendizaje automático. La suposición teórica subyacente es que estos ajustes hacen que el sistema sea menos preciso.

Un equipo de CMU tiene como objetivo disipar esa suposición en un nuevo estudio, publicado recientemente en Nature Machine Intelligence . Rayid Ghani, profesor del Departamento de Aprendizaje Automático de la Facultad de Ciencias de la Computación y de la Facultad de Sistemas de Información y Políticas Públicas de Heinz; Kit Rodolfa, científico investigador en ML; y Hemank Lamba, investigador posdoctoral en SCS, probaron esa suposición en aplicaciones del mundo real y descubrieron que la compensación era insignificante en la práctica en una variedad de dominios de políticas.

"En realidad, puede obtener ambos. No tiene que sacrificar la precisión para construir sistemas que sean justos y equitativos", dijo Ghani. "Pero sí requiere que diseñes deliberadamente sistemas para que sean justos y equitativos. Los sistemas estándar no funcionarán".

Ghani y Rodolfa se centraron en situaciones en las que los recursos en demanda son limitados y se utilizan sistemas de aprendizaje automático para ayudar a asignar esos recursos. Los investigadores analizaron los sistemas en cuatro áreas:priorizar el alcance limitado de la atención de la salud mental en función del riesgo de una persona de regresar a la cárcel para reducir la reencarcelación; predecir violaciones graves de seguridad para desplegar mejor los limitados inspectores de vivienda de una ciudad; modelar el riesgo de que los estudiantes no se gradúen de la escuela secundaria a tiempo para identificar a los que más necesitan apoyo adicional; y ayudar a los maestros a alcanzar los objetivos de crowdfunding para las necesidades del aula.

En cada contexto, los investigadores encontraron que los modelos optimizados para la precisión (práctica estándar para el aprendizaje automático) podían predecir de manera efectiva los resultados de interés, pero mostraban disparidades considerables en las recomendaciones para las intervenciones. Sin embargo, cuando los investigadores aplicaron ajustes a los resultados de los modelos que apuntaban a mejorar su imparcialidad, descubrieron que las disparidades basadas en la raza, la edad o los ingresos, según la situación, podían eliminarse sin pérdida de precisión.

Ghani y Rodolfa esperan que esta investigación comience a cambiar la forma de pensar de otros investigadores y legisladores cuando consideren el uso del aprendizaje automático en la toma de decisiones.

“Queremos que las comunidades de inteligencia artificial, ciencias de la computación y aprendizaje automático dejen de aceptar esta suposición de una compensación entre precisión y equidad y comiencen a diseñar intencionalmente sistemas que maximicen ambos”, dijo Rodolfa. "Esperamos que los formuladores de políticas adopten el aprendizaje automático como una herramienta en su toma de decisiones para ayudarlos a lograr resultados equitativos".