Un estudio de Deb Raji, estudiante de cuarto año en la Facultad de Ciencias Aplicadas e Ingeniería de la Universidad de Toronto, e investigadores del Instituto de Tecnología de Massachusetts están subrayando los prejuicios raciales y de género que se encuentran en los servicios de reconocimiento facial.

Raji pasó el verano de 2018 como pasante en el Media Lab del MIT, donde auditó tecnologías comerciales de reconocimiento facial realizadas por empresas líderes como Microsoft, IBM y Amazon. Los investigadores descubrieron que todos tenían una tendencia a confundir a las mujeres de piel más oscura con los hombres.

Pero un servicio en particular, Rekognition de Amazon, mostró un nivel de sesgo más alto que el resto. Aunque podía identificar el género de los hombres de piel clara con casi un 100% de precisión, clasificó erróneamente a las mujeres como hombres el 29 por ciento de las veces, y las mujeres de piel más oscura para los hombres el 31 por ciento del tiempo.

Rekognition fue probado recientemente por la policía en Orlando, Fla., usar el servicio en escenarios de vigilancia, como escanear rostros en cámaras y compararlos con los de bases de datos criminales.

"El hecho de que la tecnología no caracterice bien a los rostros negros podría llevar a una identificación errónea de los sospechosos, ", dice Raji." Amazon debe recibir cierta presión pública, dados los escenarios de alto riesgo en los que están usando esta tecnología ".

Con rápidos avances y despliegue de productos de inteligencia artificial (IA), Este nuevo estudio enfatiza la necesidad de no solo probar los sistemas para el desempeño, sino también por posibles sesgos contra grupos subrepresentados.

Aunque los algoritmos deben ser neutrales, Raji explica que debido a que los conjuntos de datos (información utilizada para "entrenar" un modelo de inteligencia artificial) provienen de una sociedad que todavía se enfrenta a los prejuicios cotidianos, estos sesgos se incrustan en los algoritmos.

"Supongamos que quiero ejemplos de cómo se ve una piel sana. Si lo buscas en Google ahora, Verás en su mayoría mujeres de piel clara, "dice Raji." No verás a un hombre por páginas, y no verías a una mujer de piel más oscura hasta que realmente te desplaces hacia abajo. Si introduce eso en un modelo de IA, adopta esta visión del mundo y adapta sus decisiones basándose en esos prejuicios ".

Estos sesgos deben ser señalados, tal como uno haría responsable a una persona, dice Raji. "Existe un mayor peligro cuando insertas ese sesgo en un algoritmo en comparación con cuando un humano toma una decisión con prejuicios. Alguien te dirá que está mal, ya sea el público o tu jefe, " ella dice.

"Con IA, tendemos a absolver esta responsabilidad. Nadie va a poner un algoritmo en la cárcel ".

La pasión de Raji por el tema del sesgo en el aprendizaje automático proviene de su época como estudiante de Professional Experience Year Co-op (PEY Co-op) en la startup de inteligencia artificial Clarifai. donde el tema de la IA y la ética se discutió regularmente en la empresa orientada a la investigación.

"Es algo que la empresa notó y fue muy explícito al abordar, y es un tema que personalmente me resonó porque soy una minoría visible, " ella dice.

También se deriva de sus propias experiencias personales con tecnologías con prejuicios raciales. "Construía algo en un hackathon y me preguntaba por qué no podía detectar mi cara, o por qué un grifo automático no puede detectar mi mano, " ella dice.

Raji compartió sus experiencias con un científico informático y activista digital, Alegría Buolamwini, en el Media Lab del MIT. Esto llevó a la pasantía, y que Raji se convierta en la autora principal de un artículo que presentó en la Conferencia de la Asociación para el Avance de la Inteligencia Artificial sobre la Ética y la Sociedad de la IA.

"Sé que parece que escribí un artículo de investigación en tres meses, ", dice Raji." Pero este problema se ha estado filtrando dentro de mí durante mucho más tiempo ".

Actualmente, Raji está terminando su último período en ciencias de la ingeniería y está ejecutando una iniciativa dirigida por estudiantes llamada Proyecto Incluir, que capacita a los estudiantes para enseñar programación de computadoras en vecindarios de bajos ingresos en Toronto y Mississauga. También es aprendiz de Google AI. Como parte del programa de tutoría, ella está trabajando en una nueva tesis que se enfoca en soluciones prácticas para responsabilizar a las empresas.

"La gente a veces minimiza la urgencia diciendo:'Bien, La IA es tan nueva '", dice Raji." Pero si estás construyendo un puente, ¿Le permitiría la industria tomar atajos y poner ese tipo de excusas? "