El mapa de calor muestra las frecuencias relativas de los encuestados que calificaron un escenario como "Justo" (es decir, "Algo justo" o "Muy justo"). La escala de colores se centra en la calificación de imparcialidad promedio de todos los experimentos. Crédito:Patterns/Gordon and Kern et al.
Hoy, el aprendizaje automático ayuda a determinar el préstamo para el que calificamos, el trabajo que obtenemos e incluso quién irá a la cárcel. Pero cuando se trata de estas decisiones que pueden alterar la vida, ¿pueden las computadoras tomar una decisión justa? En un estudio publicado el 29 de septiembre en la revista Patterns , investigadores de Alemania demostraron que con la supervisión humana, las personas piensan que la decisión de una computadora puede ser tan justa como una decisión tomada principalmente por humanos.
"Gran parte de la discusión sobre la equidad en el aprendizaje automático se ha centrado en soluciones técnicas, como cómo corregir algoritmos injustos y cómo hacer que los sistemas sean justos", dice el científico social computacional y coautor Ruben Bach de la Universidad de Mannheim, Alemania. "Pero nuestra pregunta es, ¿qué piensa la gente que es justo? No se trata solo de desarrollar algoritmos. Deben ser aceptados por la sociedad y cumplir con las creencias normativas en el mundo real".
La toma de decisiones automatizada, en la que se llega a una conclusión únicamente por una computadora, se destaca en el análisis de grandes conjuntos de datos para detectar patrones. Las computadoras a menudo se consideran objetivas y neutrales en comparación con los humanos, cuyos prejuicios pueden nublar los juicios. Sin embargo, el sesgo puede infiltrarse en los sistemas informáticos a medida que aprenden de los datos que reflejan patrones discriminatorios en nuestro mundo. Comprender la equidad en las decisiones humanas y de computadoras es crucial para construir una sociedad más equitativa.
Para comprender lo que la gente considera justo en la toma de decisiones automatizada, los investigadores encuestaron a 3930 personas en Alemania. Los investigadores les dieron escenarios hipotéticos relacionados con los sistemas bancario, laboral, penitenciario y de desempleo. Dentro de los escenarios, compararon además diferentes situaciones, incluso si la decisión conduce a un resultado positivo o negativo, de dónde provienen los datos para la evaluación y quién toma la decisión final:humano, computadora o ambos.
"Como era de esperar, vimos que no se favorecía la toma de decisiones completamente automatizada", dice el científico social computacional y coautor Christoph Kern de la Universidad de Mannheim. "Pero lo interesante es que cuando tienes supervisión humana sobre la toma de decisiones automatizada, el nivel de justicia percibida se vuelve similar a la toma de decisiones centrada en el ser humano". Los resultados mostraron que las personas perciben una decisión como más justa cuando hay humanos involucrados.
A la gente también le preocupaba más la equidad cuando las decisiones se relacionaban con el sistema de justicia penal o las perspectivas laborales, donde hay más en juego. Posiblemente considerando que el peso de las pérdidas es mayor que el peso de las ganancias, los participantes consideraron que las decisiones que pueden conducir a resultados positivos son más justas que las negativas. En comparación con los sistemas que solo se basan en datos relacionados con el escenario, los que se basan en datos adicionales no relacionados de Internet se consideraron menos justos, lo que confirma la importancia de la transparencia y la privacidad de los datos. Juntos, los resultados mostraron que el contexto importa. Los sistemas automatizados de toma de decisiones deben diseñarse cuidadosamente cuando surgen preocupaciones sobre la equidad.
Si bien es posible que las situaciones hipotéticas de la encuesta no se traduzcan por completo en el mundo real, el equipo ya está analizando los próximos pasos para comprender mejor la equidad. Planean llevar el estudio más allá para comprender cómo diferentes personas definen la equidad. También quieren usar encuestas similares para hacer más preguntas sobre ideas como la justicia distributiva, la equidad en la asignación de recursos entre la comunidad.
"En cierto modo, esperamos que las personas en la industria puedan tomar estos resultados como elementos de reflexión y como cosas que deben verificar antes de desarrollar e implementar un sistema automatizado de toma de decisiones", dice Bach. "También debemos asegurarnos de que las personas comprendan cómo se procesan los datos y cómo se toman las decisiones en función de ellos". Las ilusiones morales pueden alterar nuestro comportamiento
