Amazon decidió cerrar su herramienta de reclutamiento de inteligencia artificial (IA) experimental después de descubrir que discriminaba a las mujeres. La empresa creó la herramienta para rastrear la web y detectar posibles candidatos, calificándolos de una a cinco estrellas. Pero el algoritmo aprendió a degradar sistemáticamente los CV de las mujeres para trabajos técnicos como desarrollador de software.

Aunque Amazon está a la vanguardia de la tecnología de IA, la compañía no pudo encontrar una manera de hacer que su algoritmo fuera neutral en cuanto al género. Pero el fracaso de la compañía nos recuerda que la IA desarrolla sesgos de una variedad de fuentes. Si bien existe la creencia común de que se supone que los algoritmos deben construirse sin ninguno de los sesgos o prejuicios que influyen en la toma de decisiones humana, la verdad es que un algoritmo puede aprender involuntariamente el sesgo de una variedad de fuentes diferentes. Todo, desde los datos utilizados para entrenarlo, a las personas que lo están usando, e incluso factores aparentemente no relacionados, todos pueden contribuir al sesgo de la IA.

Los algoritmos de IA están entrenados para observar patrones en grandes conjuntos de datos para ayudar a predecir los resultados. En el caso de Amazon, su algoritmo utilizó todos los CV presentados a la empresa durante un período de diez años para aprender a identificar a los mejores candidatos. Dada la baja proporción de mujeres que trabajan en la empresa, como en la mayoría de las empresas de tecnología, el algoritmo detectó rápidamente el dominio masculino y pensó que era un factor de éxito.

Debido a que el algoritmo utilizó los resultados de sus propias predicciones para mejorar su precisión, se atascó en un patrón de sexismo contra las candidatas. Y dado que los datos utilizados para entrenarlo fueron en algún momento creados por humanos, significa que el algoritmo también heredó rasgos humanos indeseables, como el sesgo y la discriminación, que también han sido un problema en la contratación durante años.

Algunos algoritmos también están diseñados para predecir y ofrecer lo que los usuarios quieren ver. Esto generalmente se ve en las redes sociales o en la publicidad en línea, donde se muestra a los usuarios contenido o anuncios con los que un algoritmo cree que interactuarán. También se han informado patrones similares en la industria de la contratación.

Un reclutador informó que, al utilizar una red social profesional para encontrar candidatos, la IA aprendió a darle resultados más similares a los perfiles con los que se involucró inicialmente. Como resultado, grupos enteros de candidatos potenciales fueron eliminados sistemáticamente por completo del proceso de contratación.

Sin embargo, El sesgo también aparece por otras razones no relacionadas. Un estudio reciente sobre cómo un algoritmo entregó anuncios que promocionan trabajos STEM mostró que era más probable que se mostrara el anuncio a los hombres, no porque los hombres fueran más propensos a hacer clic en él, sino porque es más caro anunciar a las mujeres. Dado que las empresas valoran más los anuncios dirigidos a mujeres (las mujeres generan entre el 70% y el 80% de todas las compras de los consumidores), el algoritmo eligió entregar anuncios más a hombres que a mujeres porque fue diseñado para optimizar la publicación de anuncios y mantener los costos bajos.

Pero si un algoritmo solo refleja patrones en los datos que le proporcionamos, lo que les gusta a sus usuarios, y los comportamientos económicos que ocurren en su mercado, ¿No es injusto culparlo por perpetuar nuestros peores atributos? Automáticamente esperamos que un algoritmo tome decisiones sin discriminación alguna cuando este rara vez es el caso de los humanos. Incluso si un algoritmo está sesgado, puede ser una mejora con respecto al status quo actual.

Para beneficiarse plenamente del uso de la IA, Es importante investigar qué pasaría si permitiéramos que la IA tomara decisiones sin intervención humana. Un estudio de 2018 exploró este escenario con decisiones de fianza utilizando un algoritmo capacitado en datos criminales históricos para predecir la probabilidad de que los criminales reincidan. En una proyección, los autores lograron reducir las tasas de delincuencia en un 25% al ​​tiempo que reducían los casos de discriminación en los reclusos encarcelados.

Sin embargo, las ganancias destacadas en esta investigación solo ocurrirían si el algoritmo realmente tomara todas las decisiones. Es poco probable que esto suceda en el mundo real, ya que los jueces probablemente preferirían elegir si seguir o no las recomendaciones del algoritmo. Incluso si un algoritmo está bien diseñado, se vuelve redundante si las personas optan por no depender de él.

Muchos de nosotros ya confiamos en algoritmos para muchas de nuestras decisiones diarias, de qué ver en Netflix o comprar en Amazon. Pero la investigación muestra que las personas pierden la confianza en los algoritmos más rápido que los humanos cuando ven que cometen un error. incluso cuando el algoritmo funciona mejor en general.

Por ejemplo, si su GPS le sugiere que utilice una ruta alternativa para evitar el tráfico que termina demorando más de lo previsto, es probable que dejes de depender de tu GPS en el futuro. Pero si tomar la ruta alternativa fue su decisión, es poco probable que deje de confiar en su propio juicio. Un estudio de seguimiento sobre la superación de la aversión al algoritmo incluso mostró que las personas eran más propensas a usar un algoritmo y aceptar sus errores si tenían la oportunidad de modificar el algoritmo ellos mismos. incluso si eso significaba hacerlo funcionar de manera imperfecta.

Si bien los humanos pueden perder rápidamente la confianza en algoritmos defectuosos, muchos de nosotros tendemos a confiar más en las máquinas si tienen características humanas. Según una investigación sobre vehículos autónomos, era más probable que los humanos confiaran en el automóvil y creían que funcionaría mejor si el sistema aumentado del vehículo tuviera un nombre, un género específico, y una voz que suena humana. Sin embargo, si las máquinas se vuelven muy parecidas a las humanas, pero no del todo, la gente a menudo los encuentra espeluznantes, lo que podría afectar su confianza en ellos.

Aunque no apreciamos necesariamente la imagen que los algoritmos pueden reflejar de nuestra sociedad, parece que todavía tenemos ganas de vivir con ellos y hacer que se vean y actúen como nosotros. Y si ese es el caso, ¿Seguramente los algoritmos también pueden cometer errores?

Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.