Cuando los algoritmos toman decisiones con consecuencias en el mundo real, necesitan ser justos. Crédito:R-Type / Shutterstock.com
El uso de máquinas para aumentar la actividad humana no es nada nuevo. Los jeroglíficos egipcios muestran el uso de carruajes tirados por caballos incluso antes del 300 a. C. La literatura india antigua como "Silapadikaram" ha descrito animales que se utilizan para la agricultura. Y una mirada al exterior muestra que hoy en día la gente usa vehículos motorizados para desplazarse.
Donde en el pasado los seres humanos nos hemos aumentado físicamente, ahora la naturaleza del aumento también es más inteligente. De nuevo, todo lo que hay que hacer es mirar a los autos:los ingenieros aparentemente están en la cúspide de los autos autónomos guiados por inteligencia artificial. Otros dispositivos se encuentran en varias etapas para volverse más inteligentes. Por el camino, las interacciones entre personas y máquinas están cambiando.
Las inteligencias humana y de máquina aportan diferentes puntos fuertes a la mesa. Investigadores como yo estamos trabajando para comprender cómo los algoritmos pueden complementar las habilidades humanas y, al mismo tiempo, minimizar las responsabilidades de depender de la inteligencia de las máquinas. Como experto en aprendizaje automático, Predigo que pronto habrá un nuevo equilibrio entre la inteligencia humana y la máquina, un cambio que la humanidad no ha experimentado antes.
Tales cambios a menudo provocan miedo a lo desconocido, y en este caso, una de las incógnitas es cómo las máquinas toman decisiones. Esto es especialmente cierto cuando se trata de justicia. ¿Pueden las máquinas ser justas de una manera que la gente entienda?
Cuando la gente es ilógica
A humanos, la equidad es a menudo la base de una buena decisión. La toma de decisiones tiende a depender tanto de los centros emocionales como racionales de nuestro cerebro, lo que el premio Nobel Daniel Kahneman llama pensamiento del Sistema 1 y del Sistema 2. Los teóricos de la decisión creen que los centros emocionales del cerebro se han desarrollado bastante bien a lo largo de los siglos, mientras que las áreas del cerebro involucradas en el pensamiento lógico o racional evolucionaron más recientemente. La parte racional y lógica del cerebro, lo que Kahneman llama Sistema 2, ha dado a los humanos una ventaja sobre otras especies.
Sin embargo, porque el Sistema 2 se desarrolló más recientemente, la toma de decisiones humana a menudo tiene errores. Por eso muchas decisiones son ilógicas, inconsistente y subóptimo.
Por ejemplo, La inversión de preferencias es un fenómeno bien conocido pero ilógico que la gente exhibe:en él, una persona que prefiere la opción A sobre B y B sobre C no necesariamente prefiere A sobre C. O considere que los investigadores han descubierto que los jueces de los tribunales penales tienden a ser más indulgentes con las decisiones de libertad condicional inmediatamente después de la hora del almuerzo que al final del día.
Parte del problema es que nuestros cerebros tienen problemas para calcular con precisión las probabilidades sin el entrenamiento adecuado. A menudo utilizamos información irrelevante o nos influyen factores ajenos. Aquí es donde la inteligencia artificial puede resultar útil.
Las máquinas son lógicas ... hasta el final
La inteligencia artificial bien diseñada puede ser coherente y útil para tomar decisiones óptimas. Por su naturaleza, pueden ser lógicos en el sentido matemático, simplemente no se desvían de la instrucción del programa. En un algoritmo de aprendizaje automático bien diseñado, uno no encontraría las inversiones ilógicas de preferencias que la gente exhibe con frecuencia, por ejemplo. Dentro de los márgenes de errores estadísticos, las decisiones de la inteligencia artificial son consistentes.
El problema es que la inteligencia artificial no siempre está bien diseñada.
A medida que los algoritmos se vuelven más poderosos y se incorporan a más partes de la vida, los científicos como yo esperan este nuevo mundo, uno con un equilibrio diferente entre la inteligencia humana y la máquina, para ser la norma del futuro.
En el sistema de justicia penal, los jueces utilizan algoritmos durante las decisiones de libertad condicional para calcular los riesgos de reincidencia. En teoria, esta práctica podría superar cualquier sesgo introducido por las pausas para el almuerzo o el agotamiento al final del día. Sin embargo, cuando los periodistas de ProPublica llevaron a cabo una investigación, encontraron que estos algoritmos eran injustos:los hombres blancos con condenas previas por robo a mano armada fueron calificados como de menor riesgo que las mujeres afroamericanas que fueron condenadas por delitos menores.
Hay muchos más ejemplos de algoritmos de aprendizaje automático que luego se consideraron injustos, incluido Amazon y su contratación y el etiquetado de imágenes de Google.
Los investigadores han sido conscientes de estos problemas y han trabajado para imponer restricciones que garanticen la equidad desde el principio. Por ejemplo, un algoritmo llamado CB (daltónico) impone la restricción de que cualquier variable discriminatoria, como raza o género, no debe utilizarse para predecir los resultados. Otro, llamado DP (paridad demográfica), asegura que los grupos sean proporcionalmente justos. En otras palabras, la proporción del grupo que recibe un resultado positivo es igual o justa entre los grupos discriminatorios y no discriminatorios.
Los investigadores y los formuladores de políticas están comenzando a tomar el relevo. IBM ha abierto muchos de sus algoritmos y los ha lanzado bajo el lema "AI Fairness 360". Y la National Science Foundation aceptó recientemente propuestas de científicos que quieren reforzar la base de la investigación que sustenta la equidad en la IA.
Mejorar la equidad de las decisiones de las máquinas
Creo que los algoritmos de máquinas justas existentes son débiles en muchos sentidos. Esta debilidad a menudo se debe a los criterios utilizados para garantizar la equidad. La mayoría de los algoritmos que imponen una "restricción de equidad", como la paridad demográfica (DP) y el daltonismo (CB), se centran en garantizar la equidad en el nivel de resultados. Si hay dos personas de diferentes subpoblaciones, las restricciones impuestas aseguran que el resultado de sus decisiones sea consistente en todos los grupos.
Si bien este es un buen primer paso, los investigadores deben mirar más allá de los resultados y centrarse también en el proceso. Por ejemplo, cuando se usa un algoritmo, las subpoblaciones afectadas cambiarán naturalmente sus esfuerzos en respuesta. Estos cambios deben tenerse en cuenta, también. Porque no se han tenido en cuenta, mis colegas y yo nos enfocamos en lo que llamamos "equidad en la mejor respuesta".
Si las subpoblaciones son inherentemente similares, su nivel de esfuerzo para lograr el mismo resultado también debería ser el mismo incluso después de que se implemente el algoritmo. Los algoritmos basados en DP y CB no cumplen esta simple definición de equidad de mejor respuesta. Por ejemplo, DP requiere que las tasas positivas sean iguales incluso si una de las subpoblaciones no se esfuerza. En otras palabras, las personas de una subpoblación tendrían que trabajar mucho más duro para lograr el mismo resultado. Si bien un algoritmo basado en DP lo consideraría justo, después de todo, ambas subpoblaciones lograron el mismo resultado; la mayoría de los humanos no lo harían.
Existe otra restricción de equidad conocida como probabilidades igualadas (EO) que satisface la noción de equidad de mejor respuesta:garantiza la equidad incluso si se tiene en cuenta la respuesta de las subpoblaciones. Sin embargo, para imponer la restricción, el algoritmo necesita conocer las variables discriminatorias (digamos, blanco negro), y terminará estableciendo umbrales explícitamente diferentes para las subpoblaciones, por lo que los umbrales serán explícitamente diferentes para los candidatos a libertad condicional blancos y negros.
Si bien eso ayudaría a aumentar la equidad de los resultados, tal procedimiento puede violar la noción de igualdad de trato requerida por la Ley de Derechos Civiles de 1964. Por esta razón, Un artículo de California Law Review ha instado a los legisladores a enmendar la legislación para que los algoritmos justos que utilizan este enfoque se puedan utilizar sin repercusiones legales potenciales.
Estas limitaciones nos motivan a mis colegas ya mí a desarrollar un algoritmo que no solo sea "la mejor respuesta justa", sino que tampoco utilice explícitamente variables discriminatorias. Demostramos teóricamente el rendimiento de nuestros algoritmos utilizando conjuntos de datos simulados y conjuntos de datos de muestra reales de la web. Cuando probamos nuestros algoritmos con los conjuntos de datos de muestra ampliamente utilizados, nos sorprendió lo bien que se desempeñaron en relación con los algoritmos de código abierto ensamblados por IBM.
Nuestro trabajo sugiere que, a pesar de los desafíos, las máquinas y los algoritmos seguirán siendo útiles para los humanos, tanto para trabajos físicos como para trabajos de conocimiento. Debemos estar atentos a que las decisiones que tomen los algoritmos sean justas, y es imperativo que todos comprendan sus limitaciones. Si podemos hacer eso, entonces es posible que la inteligencia humana y la máquina se complementen entre sí de manera valiosa.
Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.