No solo las empresas, sino también las instituciones estatales dependen cada vez más de decisiones automatizadas mediante sistemas basados ​​en algoritmos. Su eficiencia ahorra tiempo y dinero, pero también conlleva muchos riesgos de discriminación de personas o grupos de población. Este es el resultado de un estudio realizado por el Instituto de Evaluación de Tecnología y Análisis de Sistemas (ITAS) del Instituto de Tecnología de Karlsruhe (KIT) en nombre de la Agencia Federal contra la Discriminación.

Al otorgar un préstamo, seleccionar nuevos miembros del personal, o tomar decisiones legales, en un número creciente de sectores, se aplican algoritmos para preparar decisiones humanas o para tomar estas decisiones por humanos. "Desafortunadamente, A menudo es un error pensar que esto conduce inevitablemente a decisiones más objetivas y justas, "dice Carsten Orwat del Instituto de Evaluación de Tecnología y Análisis de Sistemas (ITAS) de KIT." Las situaciones se vuelven particularmente críticas cuando los algoritmos funcionan con datos sesgados y se basan en criterios que deben protegerse, ", dice el autor. Estos criterios incluyen, en particular, la edad, género, origen étnico, religión, orientación sexual, y minusvalías.

En nombre de la Agencia Federal contra la Discriminación, Carsten Orwat estudió en detalle las causas de la discriminación, su impacto en la sociedad, y opciones futuras para reducir los riesgos de discriminación. Su estudio titulado "Diskriminierungsrisiken durch Verwendung von Algorithmen" (riesgos de discriminación mediante el uso de algoritmos) enumera 47 ejemplos para ilustrar cómo los algoritmos pueden discriminar a las personas de diversas formas y cómo esto puede detectarse y probarse.

Bienes Raices, Préstamos Asuntos judiciales, y más:varios ejemplos de riesgos de discriminación

Como ejemplos, Orwat describe situaciones en los mercados inmobiliarios y de préstamos o en el sistema judicial. En los EE.UU, por ejemplo, se han documentado varios casos, en el que los algoritmos dentro de las redes sociales permitieron que los anuncios dirigidos fueran invisibles para las personas protegidas por la "Ley de Vivienda Justa, "como los migrantes, personas con discapacidad, o con color de piel no blanco, dice el autor. En Finlandia, un banco fue condenado a pagar una multa porque su algoritmo para la concesión automática de préstamos en línea mostraba un sesgo hacia los hombres sobre las mujeres y el finlandés sobre los hablantes nativos de sueco. Este trato desigual está prohibido por la ley finlandesa contra la discriminación. Al decidir sobre las liberaciones anticipadas de la prisión, Los jueces estadounidenses utilizan un sistema muy controvertido que calcula las puntuaciones de riesgo. Periodistas y asociaciones de derechos humanos critican el hecho de que este sistema sobrestima sistemáticamente el riesgo de reincidencia de las personas negras.

"Los sistemas de aprendizaje automático a menudo tienen problemas cuando se entrenan con datos que reflejan tratamientos o estereotipos desiguales, "Carsten Orwat explica." En este caso, los algoritmos generados también lo harán. Al procesar datos que contienen evaluaciones de personas por parte de otras personas, los tratamientos desiguales y las discriminaciones pueden incluso extenderse o aumentar ". Esto sucedió en los EE. UU. en un sistema de controles alimentarios y sanitarios que se basaba en calificaciones discriminatorias de los restaurantes.

Recomendaciones de contramedidas

Sin embargo, la sociedad no debe seguir aceptando estos tratamientos desiguales. El estudio enumera varias opciones para contrarrestar la discriminación mediante algoritmos. "Las medidas preventivas parecen ser las más razonables, "Dice Carsten Orwat. Las empresas pueden pedir a las agencias contra la discriminación que instruyan a su personal y a los expertos en TI y aumenten su conciencia. Luego, estas personas utilizarán conjuntos de datos que no reflejen prácticas discriminatorias o tratamientos desiguales.

Según Orwat, el objetivo es hacer que los algoritmos del futuro "estén libres de discriminación por diseño". Esto significa que los programas deben comprobarse durante su desarrollo inicial.

En el final, se trata de la protección de los valores de la sociedad, como la igualdad o el libre desarrollo de la personalidad. Para garantizar esto a pesar de los rápidos desarrollos de "big data" e IA, es necesario mejorar la legislación contra la discriminación y la protección de datos en algunos puntos, Orwat señala.