La equidad algorítmica es cada vez más importante porque a medida que los programas de computadora toman más decisiones de mayor importancia, el potencial de daño aumenta. Hoy dia, los algoritmos ya se utilizan ampliamente para determinar las calificaciones crediticias, lo que puede significar la diferencia entre ser propietario de una vivienda y alquilarla. Y se utilizan en vigilancia predictiva, lo que sugiere una probabilidad de que se cometa un delito, y al calcular la probabilidad de que un delincuente cometa otro delito en el futuro, que influye en la severidad de la sentencia.

Eso es un problema, dice Adam Smith, profesor de informática en la Universidad de Boston, porque el diseño de muchos algoritmos está lejos de ser transparente.

"Muchos de estos sistemas están diseñados por empresas privadas y sus detalles son propietarios, "dice Smith, quien también es miembro de la facultad de ciencia de datos en el Instituto Hariri de Computación. "Es difícil saber qué están haciendo y quién es responsable de las decisiones que toman".

Recientemente, Smith y un equipo conjunto de científicos informáticos de BU-MIT reexaminaron este problema, con la esperanza de aprender qué, si algo, se puede hacer para comprender y minimizar el sesgo de los sistemas de toma de decisiones que dependen de programas informáticos.

Los investigadores de la BU:Smith, Ran Canetti, profesor de ciencias de la computación y director del Centro de Sistemas de Información Confiables y Seguridad Cibernética del Instituto Hariri, y Sarah Scheffler (GRS'21), un candidato a doctorado en ciencias de la computación — están trabajando con MIT Ph.D. estudiantes Aloni Cohen, Nishanth Dikkala, y Govind Ramnarayan para diseñar sistemas cuyas decisiones sobre todos los subconjuntos de la población sean igualmente precisas.

Su trabajo fue aceptado recientemente para su publicación en la próxima conferencia de la Asociación de Maquinaria de Computación de 2019 sobre Equidad, Responsabilidad, y transparencia, apodado "ACM FAT".

Los investigadores creen que un sistema que discrimina a las personas que han tenido dificultades para establecer un historial crediticio perpetuará esa dificultad, limitar las oportunidades para un subconjunto de la población y preservar las desigualdades existentes. ¿Qué significa eso? ellos dicen, es que los sistemas de clasificación automatizados pueden convertirse fácilmente en profecías autocumplidas, si están clasificando la probabilidad de incumplimiento de una hipoteca o la calidad de la educación universitaria.

"Los sistemas automatizados son cada vez más complejos, y a menudo son difíciles de entender para los laicos y para las personas sobre las que se toman las decisiones, "Dice Smith.

El problema de las predicciones autocumplidas

"La interacción entre el algoritmo y el comportamiento humano es tal que si creas un algoritmo y lo dejas correr, puede crear una sociedad diferente porque los humanos interactúan con ella, ", dice Canetti." Por lo tanto, debe tener mucho cuidado con la forma en que diseña el algoritmo ".

Ese problema, los investigadores dicen, empeorará a medida que los algoritmos futuros utilicen más salidas de algoritmos pasados ​​como entradas.

"Una vez que tienes el mismo programa informático tomando muchas decisiones, cualquier sesgo que exista se reproduce muchas veces a mayor escala, ", Dice Smith." Obtienes el potencial de un amplio cambio social causado por un programa de computadora ".

Pero, ¿cómo puede exactamente un algoritmo, que es básicamente una función matemática, ¿ser parcial?

Scheffler sugiere dos formas:"Una forma es con datos sesgados, ", dice." Si su algoritmo se basa en datos históricos, pronto se dará cuenta de que una institución en particular prefiere aceptar a los hombres antes que a las mujeres. Otra forma es que existen diferentes precisiones en diferentes partes de la población, tal vez un algoritmo sea realmente bueno para determinar si las personas blancas merecen un préstamo, pero podría tener una alta tasa de error para las personas que no son blancas. Podría tener una precisión del 90 por ciento en un grupo de la población y del 50 por ciento en otro grupo ".

"Eso es lo que estamos viendo, "dice Smith." Nos preguntamos '¿Cómo está cometiendo errores el sistema?' y '¿Cómo se propagan estos errores en diferentes partes de la población?' "

El impacto del sesgo algorítmico en el mundo real

En mayo de 2016, reporteros de ProPublica, una sala de redacción de investigación sin fines de lucro, examinó la precisión de COMPAS, una de varias herramientas algorítmicas utilizadas por los sistemas judiciales para predecir la reincidencia, o la probabilidad de que un acusado criminal cometa otro delito. Los hallazgos iniciales no fueron tranquilizadores.

Cuando los investigadores de ProPublica compararon el riesgo de reincidencia previsto por la herramienta con las tasas de reincidencia reales durante los dos años siguientes, ellos encontraron que, en general, COMPAS hizo las cosas bien el 61 por ciento de las veces. También encontraron que las predicciones de reincidencia violenta eran correctas solo el 20 por ciento de las veces.

Más preocupante, Descubrieron que los acusados ​​negros eran mucho más propensos que los acusados ​​blancos a ser considerados incorrectamente más propensos a cometer un delito nuevamente, y los acusados ​​blancos tenían más probabilidades que los acusados ​​negros de ser considerados incorrectamente como de bajo riesgo de reincidencia. Según el artículo de ProPublica, esta fue una clara demostración de sesgo por parte del algoritmo.

En respuesta, Northpointe Inc., el creador de COMPAS, publicó otro estudio que argumentó que el algoritmo COMPAS es de hecho justo de acuerdo con una medida estadística diferente de sesgo:la calibración. El software de Northpointe es ampliamente utilizado, y como muchas herramientas algorítmicas, sus cálculos son propietarios, pero la compañía le dijo a ProPublica que su fórmula para predecir quién reincidirá se deriva de las respuestas a 137 preguntas cuyas respuestas provienen de los acusados ​​o de los antecedentes penales.

El estudio de Northpointe encontró que para cada puntaje de riesgo, la fracción de acusados ​​blancos que recibieron esta puntuación y reincidieron (de todos los acusados ​​blancos que recibieron esta puntuación) es aproximadamente igual a la fracción de acusados ​​negros que recibieron esta puntuación y reincidieron, de todos los acusados ​​negros que recibieron esta puntuación.

"ProPublica y Northpointe llegaron a conclusiones diferentes en sus análisis de la equidad de COMPAS. Sin embargo, Ambos métodos eran matemáticamente sólidos:la oposición radicaba en sus diferentes definiciones de equidad, "Dice Scheffler.

La conclusión es que cualquier mecanismo de predicción imperfecto (ya sea algorítmico o humano) estará sesgado de acuerdo con al menos uno de los dos enfoques:el enfoque de equilibrio de errores utilizado por ProPublica, y el método de calibración preferido por Northpointe.

Superar el sesgo algorítmico

Cuando se trataba de resolver el problema del sesgo algorítmico, el equipo de investigación de BU-MIT creó un método para identificar el subconjunto de la población que el sistema no puede juzgar de manera justa, y enviar su revisión a un sistema diferente que tenga menos probabilidades de estar sesgado. Esa separación garantiza que el método yerra de manera más equilibrada con respecto a las personas por las que toma una decisión.

Y aunque los investigadores encontraron muchas situaciones en las que esa solución parecía funcionar bien, siguen preocupados por cómo los diferentes sistemas funcionarían juntos. "Hay muchas medidas diferentes de equidad, "dice Scheffler, "y hay compensaciones entre ellos. Entonces, ¿hasta qué punto son los dos sistemas compatibles con la noción de equidad que queremos lograr?"

"Lo que les sucede a las personas cuyas decisiones se aplazarían realmente influye en la forma en que vemos el sistema en su conjunto, "dice Smith". En este punto, todavía estamos pensando en lo que significarían las diferentes soluciones ".

Todavía, dice Canetti, la investigación apunta a una posible salida al enigma del sesgo estadístico, uno que pueda permitir el diseño de algoritmos que minimicen el sesgo. Ese desafío, él dice, requerirá experiencia de muchas disciplinas.