Un profesor universitario quiere exponer el sesgo oculto en la IA y luego usarlo para el bien

Crédito:Pixabay/CC0 Dominio público

Lauren Rhue investiga el vertiginoso mundo de la inteligencia artificial y la tecnología de aprendizaje automático. Pero ella quiere que todos en él reduzcan la velocidad.

Rhue, profesor asistente de sistemas de información en la Escuela de Negocios Robert H. Smith de la Universidad de Maryland, auditó recientemente la tecnología de reconocimiento de emociones dentro de tres servicios de reconocimiento facial:Amazon Rekognition, Face++ y Microsoft. Su investigación reveló lo que Rhue llamó disparidades raciales "realmente marcadas".

Amazon Rekognition se ofrece para su uso a otras empresas. Face++ se utiliza en la verificación de identidad. Microsoft planea dejar de usar su tecnología de reconocimiento facial este año, incluidas las herramientas de reconocimiento de emociones.

Rhue recopiló fotos de jugadores de la NBA en blanco y negro de la temporada 2016, controlando el grado en que sonreían. Luego pasó esas fotos por el software de reconocimiento facial.

En general, los modelos asignaron más emociones negativas a los jugadores negros, encontró Rhue. Además, si los jugadores tenían expresiones faciales ambiguas, era más probable que se supusiera que los jugadores negros tenían una expresión facial negativa, mientras que era más probable que los jugadores blancos tuvieran "el beneficio de la duda".

"Creo que todos deberíamos dar un paso atrás y pensar, ¿necesitamos analizar las caras de esta manera?" dijo Rhue.

Rhue, de 39 años, no es el primero en explorar la disparidad racial en los sistemas de IA. Por ejemplo, la estudiante de posgrado del MIT, Joy Buolamwini, ha dado charlas TED sobre su experiencia con un software de análisis facial que no podía detectar su rostro porque el algoritmo no había sido codificado para identificar una gama lo suficientemente amplia de tonos de piel y estructuras faciales.

"Con el entusiasmo actual por la IA, parece que existe la necesidad de crear un modelo para todo lo que se puede crear", dijo Rhue. "Pero realmente me gustaría ver un poco más de pausa y reflexión sobre '¿Necesitamos esto? ¿Qué trae a la mesa?'".

El uso de la tecnología de reconocimiento facial se está extendiendo. El Puerto de Baltimore utiliza tecnología de reconocimiento facial para verificar la identidad de los pasajeros que desembarcan. HireVue, con sede en Utah, realiza entrevistas en video para posibles empleados y califica las caras y emociones de los candidatos como parte de su análisis de candidatura. La IA se ha implementado para escanear las emociones y el lenguaje corporal para encontrar posibles amenazas en las multitudes.

Algunos estados están limitando el uso de la IA. California, por ejemplo, está considerando restringir el uso de la IA para evaluar a los candidatos a puestos de trabajo para evitar el "impacto discriminatorio". En Illinois, los empleadores deben revelar cuando usan herramientas de IA durante entrevistas en video. Maryland tiene una ley similar.

Y el verano pasado, el Ayuntamiento de Baltimore creó una moratoria sobre el uso de la tecnología de reconocimiento facial, eximiendo al departamento de policía, hasta este diciembre.

Y a medida que la IA se filtra en todas las áreas de la sociedad, Rhue solo quiere que las personas, y las empresas, se detengan y piensen en los efectos a largo plazo.

"Estos tipos de sistemas se están integrando cada vez más en nuestra tecnología. No siempre somos conscientes de ellos. No siempre somos conscientes de cómo se utilizan", dijo Rhue. "Y creo que es importante comprender el potencial de sesgo. Y luego, la compensación de mi investigación es observar la intervención humana para ver si eso lo mejora, si las personas pueden compensar ese sesgo".

Rhue señaló que en cada situación, debe haber una combinación de herramientas de inteligencia artificial e intervención humana para mitigar el sesgo. Quiere adelantarse a las "consecuencias negativas e imprevistas".

Y cree que el resto de su campo también está comenzando a priorizar ese tipo de trabajo. Dijo que la muerte de George Floyd a manos de la policía y los posteriores llamados a la justicia racial en 2020 generaron un interés en comprender las luchas de las comunidades marginadas y cómo la tecnología puede promover la inclusión.

Jui Ramaprasad, profesor asociado de sistemas de información en la escuela de negocios de Maryland, trabaja con Rhue y la conoce desde que era estudiante de doctorado en la Universidad de Nueva York. Dijo que el trabajo que Rhue está haciendo sobre el sesgo en el aprendizaje automático es uno de los "trabajos más impactantes" en su campo.

“Creo que está haciendo un trabajo que le importa porque la afecta a ella, afecta a las personas de la comunidad”, dijo Ramaprasad. "Creo que es realmente difícil ser la persona que hace el trabajo cuando también eres una persona que se enfrenta a esos prejuicios o discriminación en el entorno en el que vivimos y trabajamos".

A pesar de las disparidades que ha descubierto, Rhue cree que la tecnología se puede utilizar para el bien. Por ejemplo, Rhue ha investigado el crowdfunding en plataformas digitales con un enfoque en Kickstarter, que organiza campañas basadas en el interés del personal. En un esfuerzo por destacar los proyectos presentados por creadores afroamericanos, descubrió que el uso de modelos predictivos en lugar de confiar en el análisis humano subjetivo aumentaba las tasas de recomendación de proyectos afroamericanos sin reducir la tasa de éxito.

"Creo que hay mucho potencial para que la tecnología realmente tenga un impacto positivo en la inclusión, y en particular en la inclusión financiera", dijo Rhue.

Fuera de su investigación, Rhue enseña visualización de datos a estudiantes de pregrado y maestría. Anteriormente enseñó en la Universidad de Wake Forest.

Rhue dijo que puede ver el impacto que tiene en el salón de clases. Ha tenido estudiantes que le han dicho, incluidos algunos en la escuela de posgrado, que ella es la única profesora negra que han tenido. Y otros le han dicho que quieren obtener su propio doctorado. porque ella hizo que pareciera posible.

Will Hawks es profesor asistente de administración en Nova Southeastern University Florida. Antes de eso, fue alumno de Rhue en Wake Forest.

Si bien Rhue no fue su primera profesora negra (Hawks asistió anteriormente a la Universidad A&M de Florida, una institución históricamente negra), verla en el campus todavía me impresionó.

"Ver a alguien que se parece a ti lograr cosas que no crees que se puedan lograr, es lo imposible hecho realidad", dijo Hawks. "Ser un profesor afroamericano en esta misma industria ahora... nuestra presencia significa mucho más para ellos. Y lo sé porque he estado en su lugar".

Hawks llamó a Rhue un "cambio de juego" para él. Se ha mantenido en contacto con ella desde que se graduó; la contactó cuando estaba solicitando trabajos académicos e incluso recientemente la invitó a unirse a él en la investigación de los crímenes de odio conocidos como "bombardeos de Zoom" y cómo esos incidentes afectan a las organizaciones y las personas. Hawks cree que Rhue cambió el curso de su vida.

"No estarías hablando con el Dr. Will Hawks en este momento si no me hubiera cruzado con el Dr. Rhue", dijo Hawks. + Explora más