En 2020, la policía de Detroit arrestó a un hombre negro por robar relojes por valor de casi $ 4,000 en una boutique de lujo. Lo esposaron frente a su familia y pasó una noche encerrado. Sin embargo, después de algunas preguntas, quedó claro que tenían al hombre equivocado. Entonces, ¿por qué lo arrestaron en primer lugar?

La razón:un algoritmo de reconocimiento facial había hecho coincidir la foto de su licencia de conducir con imágenes granuladas de la cámara de seguridad.

Los algoritmos de reconocimiento facial, que han demostrado repetidamente que son menos precisos para las personas con piel más oscura, son solo un ejemplo de cómo los prejuicios raciales se replican y perpetúan en las tecnologías emergentes.

"Hay una urgencia, ya que la IA se usa para tomar decisiones de alto riesgo", dice el profesor visitante de MLK, S. Craig Watkins, cuyo hogar académico durante su tiempo en el MIT es el Instituto de Datos, Sistemas y Sociedad (IDSS). "Hay más en juego porque los nuevos sistemas pueden replicar los sesgos históricos a escala".

Watkins, profesor de la Universidad de Texas en Austin y director fundador del Instituto para la Innovación de los Medios, investiga los impactos de los medios y los sistemas basados ​​en datos en el comportamiento humano, con una concentración específica en temas relacionados con el racismo sistémico. "Una de las preguntas fundamentales del trabajo es:¿cómo construimos modelos de IA que aborden la desigualdad sistémica de manera más efectiva?"

IA ética

La tecnología perpetúa la desigualdad de muchas maneras en muchos sectores. Un dominio amplio es la atención médica, donde Watkins dice que la inequidad aparece tanto en la calidad como en el acceso a la atención. La demanda de atención de la salud mental, por ejemplo, supera con creces la capacidad de los servicios en los Estados Unidos. Esa demanda se ha visto exacerbada por la pandemia y el acceso a la atención es más difícil para las comunidades de color.

Para Watkins, eliminar el sesgo del algoritmo es solo un componente para construir una IA más ética. También trabaja para desarrollar herramientas y plataformas que puedan abordar la desigualdad fuera de la tecnología de frente. En el caso del acceso a la salud mental, esto implica desarrollar una herramienta para ayudar a los proveedores de salud mental a brindar atención de manera más eficiente.

"Estamos construyendo una plataforma de recopilación de datos en tiempo real que analiza actividades y comportamientos y trata de identificar patrones y contextos en los que surgen ciertos estados mentales", dice Watkins. "El objetivo es proporcionar información basada en datos a los proveedores de atención para brindar servicios de mayor impacto".

Watkins no es ajeno a las preocupaciones de privacidad que plantearía una aplicación de este tipo. Adopta un enfoque centrado en el usuario para el desarrollo que se basa en la ética de los datos. "Los derechos de datos son un componente importante", argumenta. "Tienes que darle al usuario control total sobre cómo se comparten y usan sus datos y qué datos ve un proveedor de atención. Nadie más tiene acceso".

Combatir el racismo sistémico

Aquí en el MIT, Watkins se unió a la recientemente lanzada Iniciativa para Combatir el Racismo Sistémico (ICSR), una colaboración de investigación del IDSS que reúne a profesores e investigadores del MIT Stephen A. Schwarzman College of Computing y más allá. El objetivo del ICSR es desarrollar y aprovechar herramientas computacionales que puedan ayudar a efectuar cambios estructurales y normativos hacia la equidad racial.

La colaboración ICSR tiene equipos de proyecto separados que investigan el racismo sistémico en diferentes sectores de la sociedad, incluida la atención médica. Cada uno de estos "verticales" aborda temas diferentes pero interconectados, desde la sostenibilidad hasta el empleo y el juego. Watkins es parte de dos grupos de ICSR, policía y vivienda, que tienen como objetivo comprender mejor los procesos que conducen a prácticas discriminatorias en ambos sectores. "La discriminación en la vivienda contribuye significativamente a la brecha de riqueza racial en los EE. UU.", dice Watkins.

El equipo policial examina los patrones de cómo las diferentes poblaciones son vigiladas. "Obviamente hay una historia significativa y cargada de vigilancia y raza en Estados Unidos", dice Watkins. "Este es un intento de comprender, identificar patrones y observar las diferencias regionales".

Watkins y el equipo policial están construyendo modelos utilizando datos que detallan las intervenciones policiales, las respuestas y la raza, entre otras variables. El ICSR es una buena opción para este tipo de investigación, dice Watkins, quien destaca el enfoque interdisciplinario tanto del IDSS como del SCC.

"El cambio sistémico requiere un modelo colaborativo y una experiencia diferente", dice Watkins. "Estamos tratando de maximizar la influencia y el potencial en el lado computacional, pero no lo lograremos solo con la computación".

Oportunidades de cambio

Los modelos también pueden predecir los resultados, pero Watkins tiene cuidado de señalar que ningún algoritmo por sí solo resolverá los desafíos raciales.

"Desde mi punto de vista, los modelos pueden informar la política y la estrategia que nosotros, como humanos, tenemos que crear. Los modelos computacionales pueden informar y generar conocimiento, pero eso no equivale a un cambio". Se necesita trabajo adicional, y experiencia adicional en políticas y defensa, para usar el conocimiento y las ideas para esforzarse por lograr el progreso.

Una importante palanca de cambio, argumenta, será construir una sociedad más alfabetizada en IA a través del acceso a la información y las oportunidades para comprender la IA y su impacto de una manera más dinámica. Él espera ver mayores derechos de datos y una mayor comprensión de cómo los sistemas sociales impactan nuestras vidas.

“Me inspiró la respuesta de los jóvenes a los asesinatos de George Floyd y Breonna Taylor”, dice. "Sus trágicas muertes arrojan una luz brillante sobre las implicaciones del racismo estructural en el mundo real y han obligado a la sociedad en general a prestar más atención a este problema, lo que crea más oportunidades para el cambio".