La tecnología de reconocimiento facial ya se estaba filtrando en la vida cotidiana, desde sus fotos en Facebook hasta los escaneos policiales de fotografías policiales, cuando Joy Buolamwini notó un problema grave:algunos de los programas no podían detectar rostros de piel oscura como la de ella.

Esa revelación impulsó al investigador del Instituto de Tecnología de Massachusetts a lanzar un proyecto que está teniendo una gran influencia en el debate sobre cómo se debe implementar la inteligencia artificial en el mundo real.

Sus pruebas en software creado por firmas de tecnología de marca como Amazon revelaron tasas de error mucho más altas al clasificar el género de las mujeres de piel más oscura que para los hombres de piel más clara.

Por el camino, Buolamwini ha estimulado a Microsoft e IBM a mejorar sus sistemas y ha molestado a Amazon. que atacó públicamente sus métodos de investigación. El miércoles, un grupo de expertos en IA incluido un ganador del premio mayor de ciencias de la computación, lanzó una enérgica defensa de su trabajo y pidió a Amazon que dejara de vender su software de reconocimiento facial a la policía.

Su trabajo también ha llamado la atención de líderes políticos en las cámaras estatales y el Congreso y ha llevado a algunos a buscar límites en el uso de herramientas de visión por computadora para analizar rostros humanos.

"Tiene que haber una elección, "dijo Buolamwini, estudiante de posgrado e investigador del Media Lab del MIT. "Ahora, lo que está sucediendo es que estas tecnologías se están implementando ampliamente sin supervisión, muchas veces de forma encubierta, para que cuando nos despertemos, es casi demasiado tarde ".

Buolamwini no es el único que expresa cautela sobre la rápida adopción del reconocimiento facial por parte de la policía. agencias gubernamentales y empresas, desde tiendas hasta complejos de apartamentos. Muchos otros investigadores han demostrado cómo los sistemas de IA, que buscan patrones en grandes cantidades de datos, imitarán los sesgos institucionales incrustados en los datos de los que están aprendiendo. Por ejemplo, si los sistemas de inteligencia artificial se desarrollan utilizando imágenes de hombres en su mayoría blancos, los sistemas funcionarán mejor para reconocer a los hombres blancos.

Esas disparidades a veces pueden ser una cuestión de vida o muerte:un estudio reciente de los sistemas de visión por computadora que permiten a los autos autónomos "ver" la carretera muestra que les resulta más difícil detectar a los peatones con tonos de piel más oscuros.

Lo que tocó la fibra sensible del trabajo de Boulamwini es su método de probar los sistemas creados por empresas reconocidas. Ella aplica tales sistemas a una escala de tono de piel utilizada por dermatólogos, luego nombra y avergüenza a aquellos que muestran prejuicios raciales y de género. Buolamwini, quien también fundó una coalición de académicos, activistas y otros llamados la Liga de la Justicia Algorítmica, ha combinado sus investigaciones académicas con el activismo.

"Se suma a un creciente cuerpo de evidencia de que el reconocimiento facial afecta a diferentes grupos de manera diferente, "dijo Shankar Narayan, de la Unión Americana de Libertades Civiles del estado de Washington, donde el grupo ha buscado restricciones sobre la tecnología. "El trabajo de Joy ha sido parte de la construcción de esa conciencia".

Amazonas, cuyo CEO, Jeff Bezos, ella envió un correo electrónico directamente el verano pasado, ha respondido apuntando agresivamente a sus métodos de investigación.

Un estudio dirigido por Buolamwini y publicado hace poco más de un año encontró disparidades en cómo los sistemas de análisis facial construidos por IBM, Microsoft y la empresa china Face Plus Plus clasificaron a las personas por género. Las mujeres de piel más oscura fueron el grupo más mal clasificado, con tasas de error de hasta el 34,7%. Por el contrario, la tasa de error máxima para los machos de piel más clara fue inferior al 1%.

El estudio pidió "atención urgente" para abordar el sesgo.

"Respondí casi de inmediato, "dijo Ruchir Puri, científico jefe de IBM Research, describiendo un correo electrónico que recibió de Buolamwini el año pasado.

Desde entonces, él dijo, "Ha sido una relación muy fructífera" que informó la presentación de IBM este año de una nueva base de datos de 1 millón de imágenes para analizar mejor la diversidad de rostros humanos. Los sistemas anteriores han dependido demasiado de lo que Buolamwini llama repositorios de imágenes de "hombres pálidos".

Microsoft, que tuvo las tasas de error más bajas, comentario rechazado. Mensajes dejados con Megvii, que es propietario de Face Plus Plus, no fueron devueltos de inmediato.

Meses después de su primer estudio, cuando Buolamwini trabajó con la investigadora de la Universidad de Toronto, Inioluwa Deborah Raji, en una prueba de seguimiento, las tres empresas mostraron mejoras importantes.

Pero esta vez también agregaron Amazon, que ha vendido el sistema que llama Rekognition a las fuerzas del orden. Los resultados, publicado a finales de enero, mostró a Amazon identificando erróneamente a las mujeres de tonos más oscuros.

"Nos sorprendió ver que Amazon estaba donde estaban sus competidores hace un año, "Dijo Buolamwini.

Amazon descartó lo que llamó las "afirmaciones erróneas" de Buolamwini y dijo que el estudio confundió el análisis facial con el reconocimiento facial. medir incorrectamente el primero con técnicas para evaluar el segundo.

"La respuesta a las inquietudes acerca de la nueva tecnología es no ejecutar 'pruebas' que no sean coherentes con la forma en que se diseñó el servicio para su uso, y para ampliar las conclusiones falsas y engañosas de la prueba a través de los medios de comunicación, "Matt Wood, gerente general de inteligencia artificial para la división de computación en la nube de Amazon, escribió en una publicación de blog de enero. Amazon rechazó las solicitudes de entrevista.

"No sabía que su reacción sería tan hostil, ", Dijo Buolamwini recientemente en una entrevista en su laboratorio del MIT.

El miércoles salió en su defensa una coalición de investigadores, incluido el pionero de la inteligencia artificial Yoshua Bengio, reciente ganador del premio Turing, considerado la versión del premio Nobel en el campo de la tecnología.

Criticaron la respuesta de Amazon, especialmente su distinción entre reconocimiento facial y análisis.

"En contraste con las afirmaciones del Dr. Wood, el sesgo encontrado en un sistema es motivo de preocupación en el otro, particularmente en casos de uso que podrían afectar gravemente la vida de las personas, como aplicaciones de aplicación de la ley, " ellos escribieron.

Sus pocos clientes conocidos públicamente han defendido el sistema de Amazon.

Chris Adzima, analista senior de sistemas de información para la Oficina del Sheriff del Condado de Washington en Oregon, dijo que la agencia usa Rekognition de Amazon para identificar las coincidencias más probables entre su colección de aproximadamente 350, 000 fotografías policiales. Pero debido a que un humano toma la decisión final, "el sesgo de ese sistema informático no se transfiere a ningún resultado o acción tomada, "Dijo Adzima.

Pero cada vez más, reguladores y legisladores tienen sus dudas. Un proyecto de ley bipartidista en el Congreso busca límites al reconocimiento facial. Las legislaturas de Washington y Massachusetts están considerando sus propias leyes.

Buolamwini dijo que un mensaje importante de su investigación es que los sistemas de inteligencia artificial deben revisarse cuidadosamente y monitorearse constantemente si se van a utilizar en el público. No solo para auditar la precisión, ella dijo, pero para garantizar que no se abuse del reconocimiento facial para violar la privacidad o causar otros daños.

"No podemos dejar que las empresas hagan este tipo de comprobaciones, " ella dijo.

© 2019 The Associated Press. Reservados todos los derechos.