Nuestras vidas se ven cada vez más afectadas por los algoritmos. A las personas se les pueden negar préstamos, trabajos, pólizas de seguro, o incluso la libertad condicional sobre la base de las puntuaciones de riesgo que producen.

Sin embargo, los algoritmos son notoriamente propensos a los sesgos. Por ejemplo, Los algoritmos utilizados para evaluar el riesgo de reincidencia delictiva a menudo tienen tasas de error más altas en los grupos étnicos minoritarios. Como descubrió ProPublica, el algoritmo COMPAS, ampliamente utilizado para predecir la reincidencia en el sistema de justicia penal de EE. UU., tuvo una tasa de falsos positivos más alta en personas de raza negra que en personas de raza blanca; era más probable que se predijera erróneamente que los negros volverían a delinquir.

Hallazgos como estos han llevado a algunos a afirmar que los algoritmos son injustos o discriminatorios. En respuesta, Los investigadores de IA han buscado producir algoritmos que eviten, o al menos minimizar, injusticia por ejemplo, igualando las tasas de falsos positivos entre grupos raciales. Recientemente, un grupo del MIT informó que habían desarrollado una nueva técnica para eliminar el sesgo de los algoritmos sin comprometer la precisión. Pero, ¿es la corrección de algoritmos la mejor manera de combatir la injusticia?

Depende del tipo de justicia que busquemos. Los filósofos morales y políticos a menudo contrastan dos tipos de equidad:procedimental y sustantiva. Una politica, procedimiento, o curso de acción, es procesalmente justo cuando es justo independientemente de los resultados que cause. La decisión de un árbitro de fútbol puede ser justa, independientemente de cómo afecte el resultado del juego, simplemente porque la decisión se tomó sobre la base de una aplicación imparcial de las reglas. O el trato de un padre a sus dos hijos puede ser justo porque no manifiesta parcialidad ni favoritismo, incluso si tiene como resultado que la vida de un niño sea mucho mejor que la del otro.

Por el contrario, algo que es sustancialmente justo produce resultados justos. Suponga que un árbitro de fútbol otorga un penalti suave a un equipo que está 1-0 abajo porque cree que la ventaja del otro equipo fue el resultado de pura suerte. Como resultado, el juego termina en un empate 1-1. Esta decisión parece injusta desde el punto de vista del procedimiento:el árbitro aplica las reglas de manera menos estricta a un equipo que al otro. Pero si un empate refleja el desempeño relativo de los dos equipos, puede ser sustancialmente justo.

Alternativamente, imagina que una madre y un padre favorecen a diferentes hijos. Cada padre trata al niño desfavorecido injustamente, en un sentido procedimental. Pero si el resultado final es que los dos niños reciben el mismo amor, entonces sus acciones pueden ser sustancialmente justas.

¿Qué es justo?

Los investigadores de IA preocupados por la equidad tienen, en la mayor parte, se ha centrado en desarrollar algoritmos que sean procesalmente justos, justos en virtud de las características de los propios algoritmos, no los efectos de su despliegue. Pero, ¿y si lo que realmente importa es la justicia sustantiva?

Por lo general, existe una tensión entre la equidad procesal y la precisión:los intentos de lograr las formas más comúnmente recomendadas de equidad procesal aumentan la tasa de error general del algoritmo. Tome el algoritmo COMPAS, por ejemplo. Si igualamos las tasas de falsos positivos entre personas negras y blancas ignorando los predictores de reincidencia que tienden a ser poseídos de manera desproporcionada por personas negras, el resultado probable sería una pérdida de precisión general, con más personas predichas erróneamente para reincidir, o no reincidir.

Podríamos evitar estas dificultades si nos enfocamos en la equidad sustantiva en lugar de en los procedimientos y simplemente diseñáramos algoritmos para maximizar la precisión. mientras que simultáneamente bloquea o compensa cualquier efecto sustancialmente injusto que estos algoritmos puedan tener. Por ejemplo, en lugar de tratar de asegurar que los errores de predicción del crimen afecten a diferentes grupos raciales por igual, un objetivo que en cualquier caso puede ser inalcanzable, podríamos asegurarnos de que estos algoritmos no se utilicen de manera que perjudiquen a quienes están en alto riesgo. Podríamos ofrecer a las personas consideradas tratamientos de rehabilitación de "alto riesgo" en lugar de, decir, sometiéndolos a más encarcelamiento.

Alternativamente, Podríamos tomar medidas para compensar la tendencia de un algoritmo de asignar un mayor riesgo a algunos grupos que a otros, ofreciendo programas de rehabilitación para reducir el riesgo preferentemente a las personas negras. por ejemplo.

Apuntar a la equidad sustancial fuera del diseño del algoritmo dejaría a los diseñadores de algoritmos libres para enfocarse en maximizar la precisión, con justicia dejada a los reguladores estatales, con aportación experta y democrática. Este enfoque ha tenido éxito en otras áreas. En medicina, por ejemplo, los médicos se centran en promover el bienestar de sus pacientes, mientras que los financiadores de la salud y los formuladores de políticas promueven la asignación justa de los recursos de atención médica entre los pacientes.

En sustancia o procedimiento

Por supuesto, la mayoría de nosotros sería reacia a renunciar por completo a la equidad procesal. Si un árbitro sanciona cada infracción menor de un equipo, mientras deja que otro se salga con la suya con faltas importantes, pensaríamos que algo salió mal, incluso si gana el equipo adecuado. Si un juez ignora todo lo que dice el acusado y escucha atentamente al demandante, pensamos que esto es injusto incluso si el acusado es un multimillonario de la jet-set que lo haría, incluso si es declarado culpable, estar mucho mejor que un demandante más merecedor.

Nos preocupamos por la equidad procesal. Sin embargo, la equidad sustantiva a menudo es más importante, al menos, muchos de nosotros tenemos intuiciones que parecen ser coherentes con esto. Algunos de nosotros pensamos que los presidentes y monarcas deberían tener la discreción de ofrecer indultos a los delincuentes condenados, a pesar de que esto aplica reglas legales de manera inconsistente, dejando que algunos, pero no otros, fuera del gancho. ¿Por qué pensar que esto está justificado? Quizás porque los indultos ayudan a garantizar la equidad sustantiva cuando los procesos procesalmente justos tienen consecuencias injustas y severas.

Muchos de nosotros también pensamos que la acción afirmativa está justificada, incluso cuando se ve en la cara de eso, ser procesalmente injusto, ya que da a algunos grupos mayor consideración que a otros. Quizás toleramos esta injusticia porque, mediante la mitigación de los efectos de la opresión pasada, la acción afirmativa tiende a promover la equidad sustantiva.

Si la equidad sustantiva generalmente importa más que la equidad procesal, Contrarrestar los algoritmos sesgados mediante cambios en el diseño algorítmico puede no ser el mejor camino hacia la equidad, después de todo.

Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.