Todavía puedo recordar mi sorpresa cuando un libro del biólogo evolutivo Peter Lawrence titulado La fabricación de una mosca llegó a tener un precio en Amazon de $ 23, 698, 655.93 (más $ 3.99 de envío). Si bien mis colegas de todo el mundo deben haberse deprimido bastante de que un libro académico pudiera lograr tal hazaña, el elevado precio fue en realidad el resultado de algoritmos que se alimentaban entre sí y se salían de control. Resulta, No solo el personal de ventas era creativo:los algoritmos estaban tomando las decisiones.

Este llamativo ejemplo fue detectado y corregido. Pero, ¿y si tal interferencia algorítmica ocurre todo el tiempo, incluso de formas que ni siquiera notamos? Si nuestra realidad se construye cada vez más mediante algoritmos, ¿Dónde nos deja esto a los humanos?

Inspirado por tales ejemplos, mi colega el profesor Allen Lee y yo nos propusimos recientemente explorar los efectos más profundos de la tecnología algorítmica en un artículo en el Journal of the Association for Information Systems. Nuestra exploración nos llevó a la conclusión de que, tiempo extraordinario, los roles de la tecnología de la información y los seres humanos se han invertido. En el pasado, los humanos usamos la tecnología como herramienta. Ahora, la tecnología ha avanzado hasta el punto en que nos está utilizando e incluso controlando.

Los seres humanos no estamos simplemente aislados de las decisiones que las máquinas están tomando por nosotros, sino que nos afectan profundamente de manera impredecible. En lugar de ser central en el sistema de decisiones que nos afecta, somos arrojados a su entorno. Hemos restringido progresivamente nuestra propia capacidad de toma de decisiones y hemos permitido que los algoritmos se hagan cargo. Nos hemos convertido en humanos artificiales o artefactos humanos, que se crean, moldeado y utilizado por la tecnología.

Abundan los ejemplos. Consuegro, Los analistas legales están siendo reemplazados gradualmente por inteligencia artificial, lo que significa que la defensa o el enjuiciamiento exitosos de un caso pueden depender en parte de algoritmos. Incluso se ha permitido al software predecir futuros delincuentes, en última instancia, controlar la libertad humana determinando cómo se niega o se concede la libertad condicional a los presos. De este modo, las mentes de los jueces están siendo moldeadas por mecanismos de toma de decisiones que no pueden comprender debido a lo complejo que es el proceso y la cantidad de datos que involucra.

En el mercado de trabajo, La dependencia excesiva de la tecnología ha llevado a algunas de las empresas más grandes del mundo a filtrar CV a través de software, lo que significa que los reclutadores humanos ni siquiera echarán un vistazo a los detalles de algunos candidatos potenciales. Esto no solo pone el sustento de las personas a merced de las máquinas, también puede generar sesgos de contratación que la empresa no deseaba implementar, como sucedió con Amazon.

En noticias, lo que se conoce como análisis automatizado de sentimientos analiza las opiniones positivas y negativas sobre las empresas en función de diferentes fuentes web. Sucesivamente, estos están siendo utilizados por algoritmos comerciales que toman decisiones financieras automatizadas, sin que los humanos tengan que leer las noticias.

Consecuencias no deseadas

De hecho, Los algoritmos que operan sin intervención humana desempeñan ahora un papel importante en los mercados financieros. Por ejemplo, El 85% de toda la negociación en los mercados de divisas se realiza únicamente mediante algoritmos. La creciente carrera de armamentos algorítmicos para desarrollar sistemas cada vez más complejos para competir en estos mercados significa que se están asignando enormes sumas de dinero de acuerdo con las decisiones de las máquinas.

A pequeña escala, las personas y empresas que crean estos algoritmos pueden afectar lo que hacen y cómo lo hacen. Pero debido a que gran parte de la inteligencia artificial implica la programación de software para descubrir cómo completar una tarea por sí misma, a menudo no sabemos exactamente qué hay detrás de la toma de decisiones. Como ocurre con toda la tecnología, esto puede tener consecuencias no deseadas que pueden ir mucho más allá de lo que los diseñadores imaginaron.

Tomemos la "caída repentina" de 2010 del índice promedio industrial Dow Jones. La acción de los algoritmos ayudó a crear la mayor caída del índice en su historia, eliminando casi un 9% de su valor en minutos (aunque recuperó la mayor parte al final del día). Una investigación de cinco meses solo podría sugerir qué provocó la recesión (y se han propuesto varias otras teorías).

Pero los algoritmos que amplificaron los problemas iniciales no se equivocaron. No hubo ningún error en la programación. El comportamiento surgió de la interacción de millones de decisiones algorítmicas que se enfrentaron entre sí de formas impredecibles, siguiendo su propia lógica de una manera que creó una espiral descendente para el mercado.

Las condiciones que hicieron posible esto ocurrieron porque, A través de los años, las personas que dirigen el sistema comercial habían llegado a ver las decisiones humanas como un obstáculo para la eficiencia del mercado. En 1987, cuando el mercado de valores de EE. UU. Cayó un 22,61%, algunos corredores de Wall Street simplemente dejaron de levantar sus teléfonos para evitar recibir órdenes de sus clientes para vender acciones. Esto inició un proceso que, como lo expresó el autor Michael Lewis en su libro Flash Boys, "Ha terminado con las computadoras reemplazando por completo a la gente".

El mundo financiero ha invertido millones en cables ultrarrápidos y comunicaciones por microondas para reducir en solo milisegundos la velocidad a la que los algoritmos pueden transmitir sus instrucciones. Cuando la velocidad es tan importante, un ser humano que requiere 215 milisegundos masivos para hacer clic en un botón es casi completamente redundante. Nuestro único propósito restante es reconfigurar los algoritmos cada vez que falla el sistema de decisiones tecnológicas.

A medida que se forjan nuevos límites entre los humanos y la tecnología, tenemos que pensar detenidamente sobre a dónde nos lleva nuestra extrema dependencia del software. Como las decisiones humanas son sustituidas por algorítmicas, y nos convertimos en herramientas cuyas vidas están moldeadas por máquinas y sus consecuencias no deseadas, we are setting ourselves up for technological domination. We need to decide, while we still can, what this means for us both as individuals and as a society.

Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.