¿Y si eso no fuera algo malo?

Una nueva investigación realizada por Carey Morewedge, profesora de marketing de la Escuela de Negocios Questrom de la Universidad de Boston y becaria distinguida de la facultad Everett W. Lord, descubrió que las personas reconocen más sus sesgos en las decisiones de los algoritmos que en las suyas propias, incluso cuando esas decisiones son las mismo. La investigación, publicada en las Proceedings of the National Academy of Sciences , sugiere formas en que la conciencia podría ayudar a los tomadores de decisiones humanos a reconocer y corregir sus prejuicios.

"Un problema social es que los algoritmos aprenden y, a escala, implementan sesgos en las decisiones humanas en las que fueron entrenados", dice Morewedge, quien también preside el departamento de marketing de Questrom. Por ejemplo:en 2015, Amazon probó (y pronto descartó) un algoritmo para ayudar a sus gerentes de contratación a filtrar a los solicitantes de empleo. Descubrieron que el programa mejoraba los currículums que percibía que provenían de solicitantes masculinos y rebajaba los de mujeres, un claro caso de sesgo de género.

Pero ese mismo año, sólo el 39 por ciento de la fuerza laboral de Amazon eran mujeres. Si el algoritmo se hubiera entrenado con los datos de contratación existentes de Amazon, no es de extrañar que priorizara a los solicitantes masculinos:Amazon ya lo hacía. Si su algoritmo tenía un sesgo de género, "es porque los gerentes de Amazon estaban sesgados en sus decisiones de contratación", dice Morewedge.

"Los algoritmos pueden codificar y amplificar los prejuicios humanos, pero también revelan prejuicios estructurales en nuestra sociedad", dice. "Muchos sesgos no se pueden observar a nivel individual. Es difícil probar el sesgo, por ejemplo, en una sola decisión de contratación. Pero cuando sumamos decisiones dentro y entre personas, como lo hacemos al construir algoritmos, puede revelar sesgos estructurales en nuestros sistemas y organizaciones."

Morewedge y sus colaboradores, Begüm Çeliktutan y Romain Cadario, ambos de la Universidad Erasmus de los Países Bajos, idearon una serie de experimentos diseñados para descubrir los prejuicios sociales de las personas (incluidos el racismo, el sexismo y la discriminación por edad).

Luego, el equipo comparó el reconocimiento de los participantes de la investigación sobre cómo esos sesgos influyeron en sus propias decisiones con las decisiones tomadas por un algoritmo. En los experimentos, los participantes a veces vieron decisiones de algoritmos reales. Pero había un problema:otras veces, las decisiones atribuidas a los algoritmos eran en realidad elecciones disfrazadas de los participantes.

En general, los participantes tenían más probabilidades de ver sesgos en las decisiones que pensaban que provenían de algoritmos que en sus propias decisiones. Los participantes también vieron tanto sesgo en las decisiones de los algoritmos como en las decisiones de otras personas. (Las personas generalmente reconocen mejor el sesgo en los demás que en sí mismas, un fenómeno llamado punto ciego del sesgo). Los participantes también tenían más probabilidades de corregir el sesgo en esas decisiones después del hecho, un paso crucial para minimizar el sesgo en el futuro.

Los algoritmos eliminan el punto ciego del sesgo

Los investigadores realizaron nueve experimentos con grupos de participantes, más de 6.000 en total. En el primero, los participantes calificaron un conjunto de anuncios de Airbnb, que incluían algunos datos sobre cada anuncio:su calificación promedio de estrellas (en una escala de 1 a 5) y el nombre del anfitrión. Los investigadores asignaron estos listados ficticios a anfitriones con nombres que eran "claramente afroamericanos o blancos", basándose en investigaciones previas que identificaron prejuicios raciales, según el artículo. Los participantes calificaron la probabilidad de que alquilaran cada anuncio.

En la segunda mitad del experimento, se informó a los participantes sobre un hallazgo de investigación que explicaba cómo la raza del anfitrión podría sesgar las calificaciones. Luego, los investigadores mostraron a los participantes una serie de calificaciones y les pidieron que evaluaran (en una escala del 1 al 7) la probabilidad de que el sesgo hubiera influido en las calificaciones.

Los participantes vieron reflejada su propia calificación, su propia calificación bajo la apariencia de un algoritmo, su propia calificación bajo la apariencia de la de otra persona o una calificación de algoritmo real basada en sus preferencias.

Los investigadores repitieron esta configuración varias veces, probando los sesgos de raza, género, edad y atractivo en los perfiles de los conductores de Lyft y los anfitriones de Airbnb. Cada vez, los resultados fueron consistentes. Los participantes que pensaron que vieron las calificaciones de un algoritmo o las calificaciones de otra persona (independientemente de si realmente las vieron o no) tenían más probabilidades de percibir sesgos en los resultados.

Morewedge atribuye esto a las diferentes pruebas que utilizamos para evaluar el sesgo en los demás y el sesgo en nosotros mismos. Dado que conocemos nuestro propio proceso de pensamiento, dice, es más probable que retrocedamos en nuestro pensamiento y decidamos que no estaba sesgado, tal vez impulsado por algún otro factor que influyó en nuestras decisiones. Sin embargo, cuando analizamos las decisiones de otras personas, lo único que tenemos que juzgar es el resultado.

"Digamos que estás organizando un panel de oradores para un evento", dice Morewedge. "Si todos esos oradores son hombres, se podría decir que el resultado no fue el resultado de un sesgo de género porque ni siquiera estabas pensando en el género cuando invitaste a estos oradores. Pero si estuvieras asistiendo a este evento y vieras un panel de todos -Los hablantes masculinos son más propensos a concluir que hubo un sesgo de género en la selección."

De hecho, en uno de sus experimentos, los investigadores descubrieron que los participantes que eran más propensos a este punto ciego de sesgo también tenían más probabilidades de ver sesgos en las decisiones atribuidas a algoritmos u otros que en sus propias decisiones. En otro experimento, descubrieron que las personas veían más fácilmente sus propias decisiones influenciadas por factores que eran bastante neutrales o razonables, como la calificación de estrellas de un anfitrión de Airbnb, en comparación con un sesgo perjudicial, como la raza, tal vez porque admitir que preferían un cinco- El alquiler de estrellas no es tan amenazante para el sentido de uno mismo ni para la forma en que los demás podrían vernos, sugiere Morewedge.

Algoritmos como espejos:ver y corregir los prejuicios humanos

En el experimento final de los investigadores, dieron a los participantes la oportunidad de corregir el sesgo en sus calificaciones o en las calificaciones de un algoritmo (real o no). Era más probable que las personas corrigieran las decisiones del algoritmo, lo que redujo el sesgo real en sus calificaciones.

Este es el paso crucial para Morewedge y sus colegas, afirma. Para cualquier persona motivada por reducir los prejuicios, poder verlo es el primer paso. Su investigación presenta evidencia de que los algoritmos pueden usarse como espejos, una forma de identificar prejuicios incluso cuando las personas no pueden verlo en sí mismas.

"En este momento, creo que la literatura sobre el sesgo algorítmico es sombría", dice Morewedge. "Mucho de esto dice que necesitamos desarrollar métodos estadísticos para reducir los prejuicios en los algoritmos. Pero parte del problema es que los prejuicios provienen de las personas. Deberíamos trabajar para mejorar los algoritmos, pero también deberíamos trabajar para ser menos sesgados.

"Lo interesante de este trabajo es que muestra que los algoritmos pueden codificar o amplificar los prejuicios humanos, pero también pueden ser herramientas para ayudar a las personas a ver mejor sus propios prejuicios y corregirlos", afirma. "Los algoritmos son un arma de doble filo. Pueden ser una herramienta que amplifica nuestras peores tendencias. Y los algoritmos pueden ser una herramienta que puede ayudarnos a mejorar".