En los seres humanos, la inteligencia no es una vacuna contra los prejuicios y la intolerancia. Lo mismo ocurre con las computadoras. Las máquinas inteligentes aprenden sobre el mundo a través de los filtros del lenguaje humano y el comportamiento histórico, lo que significa que pueden absorber los peores valores de la humanidad con la misma facilidad que los mejores.

Los investigadores que tienen como objetivo desarrollar máquinas cada vez más inteligentes tienen mucho trabajo por delante para asegurarse de que no están imbuyendo inadvertidamente a las computadoras de misoginia. racismo u otras formas de intolerancia.

"Es un gran riesgo, "dice Marzyeh Ghassemi, profesor asistente en el departamento de informática y la Facultad de Medicina de la Universidad de Toronto que se centra en aplicaciones de atención médica para la inteligencia artificial (IA). "Como todos los avances que hacen que las sociedades avancen, hay grandes riesgos que debemos decidir aceptar o no aceptar ".

El sesgo puede introducirse en los algoritmos de muchas formas. En una rama muy influyente de la IA conocida como "procesamiento del lenguaje natural, "Los problemas pueden surgir del" corpus de texto ", el material de origen que utiliza el algoritmo para conocer las relaciones entre diferentes palabras.

Procesamiento natural del lenguaje, o "PNL, "permite que una computadora comprenda el habla al estilo humano:informal, conversacional y contextual. Los algoritmos de PNL revisan miles de millones de palabras de texto de entrenamiento; el corpus podría ser, decir, la totalidad de Wikipedia. Un algoritmo funciona asignando a cada palabra un conjunto de números que reflejan diferentes aspectos de su significado:"rey" y "reina", por ejemplo, tendría puntuaciones similares en relación con la idea de la realeza, pero puntajes opuestos relacionados con el género. La PNL es un sistema poderoso que permite a las máquinas aprender sobre las relaciones entre palabras; en algunos casos, sin la participación humana directa.

"Aunque no siempre les estamos enseñando específicamente, lo que aprenden es increible, "dice Kawin Ethayarajh, un investigador que se centra en parte en la equidad y la justicia en las aplicaciones de IA. "Pero también es un problema. En el corpus, la relación entre 'rey' y 'reina' podría ser similar a la relación entre 'médico' y 'enfermera' ".

Pero por supuesto, todos los reyes son hombres; no todos los médicos son hombres. Y no todas las enfermeras son mujeres.

Cuando un algoritmo absorbe los tropos sexistas de las actitudes humanas históricas, puede tener consecuencias en la vida real, como sucedió en 2014 cuando Amazon desarrolló un algoritmo para examinar los currículums de los solicitantes de empleo. La empresa capacitó a sus máquinas con 10 años de decisiones de contratación. Pero en 2015, reconocieron que, en pruebas, el sistema estaba dando preferencia inmerecida a los currículums de los solicitantes masculinos. Modificaron el sistema para obligarlo a ignorar la información de género, pero finalmente cerró el proyecto antes de ponerlo en uso, ya que no podían estar seguros de que su algoritmo no estuviera perpetrando otras formas de discriminación.

La mitigación del material fuente sexista puede implicar ajustes tecnológicos y metodológicos. "Si podemos entender exactamente qué suposiciones subyacentes tiene el corpus que hacen que se aprendan estos sesgos, podemos seleccionar corpus sin esos sesgos o corregirlos durante el proceso de formación, "dice Ethayarajh.

Es una práctica común que los investigadores diseñen un algoritmo que corrija automáticamente las suposiciones perjudiciales. Al ajustar el peso de los números que asigna a cada palabra, la computadora puede evitar hacer asociaciones sexistas o racistas.

Pero, ¿cuáles son exactamente las suposiciones que deben corregirse? ¿Cómo es realmente una IA imparcial? Debates sobre privilegios, fanatismo, la diversidad y el sesgo sistémico están lejos de resolverse. ¿Debería un algoritmo de contratación tener una postura sobre la acción afirmativa? ¿Debería un automóvil autónomo tener especial cuidado si otro vehículo tiene una calcomanía de "Bebé a bordo"? ¿Cómo debería tener en cuenta un análisis de documentos legales impulsado por IA en el tratamiento histórico de los pueblos indígenas? Los problemas sociales contenciosos no desaparecen simplemente porque las máquinas se hacen cargo de ciertas recomendaciones o decisiones.

Muchas personas ven el modelo de multiculturalismo defectuoso pero relativamente exitoso de Canadá como una oportunidad para liderar una investigación justa de la IA.

"Canadá ciertamente tiene una oportunidad, "dice Ronald Baecker, profesor emérito de informática y autor de Computers and Society:Modern Perspectives. Él ve un papel del gobierno para corregir las desigualdades sociales, injusticias y prejuicios asociados con la IA por, por ejemplo, establecer protecciones para los empleados que eligen hablar en contra de los productos basados ​​en inteligencia artificial sesgados o injustos. "Hay una necesidad de más pensamiento y legislación con respecto al concepto de lo que yo llamaría 'objeción de conciencia' por parte de los empleados de alta tecnología".

También cree que se debería exigir a los científicos informáticos que desarrollan tecnologías inteligentes que estudien el impacto social de dicho trabajo. "Es importante que los profesionales que trabajan en IA reconozcan su responsabilidad, ", dice." Estamos lidiando con situaciones de vida o muerte en actividades cada vez más importantes en las que se utiliza la inteligencia artificial ".

Los algoritmos que ayudan a los jueces a fijar fianzas y condenar a los delincuentes pueden absorber prejuicios de larga data en el sistema legal, como tratar a las personas racializadas como si fueran más propensas a cometer delitos adicionales. Los algoritmos pueden señalar a las personas de ciertas comunidades como un riesgo demasiado alto para recibir un préstamo bancario. También podrían ser mejores para diagnosticar cáncer de piel en personas de raza blanca que en personas de piel más oscura. como resultado de haber recibido formación sobre material fuente sesgado.

Hay mucho en juego en el cuidado de la salud, donde los algoritmos no equitativos podrían empujar a las personas que han recibido servicios deficientes en el pasado aún más al margen.

En su trabajo en la U of T y en el Vector Institute for Artificial Intelligence, Ghassemi, como otros investigadores, se esfuerza por identificar posibles sesgos e inequidades en sus algoritmos. Compara las recomendaciones y predicciones de sus herramientas de diagnóstico con los resultados del mundo real, midiendo su precisión para diferentes géneros, Razas, edades y factores socioeconómicos.

En teoria, Canadá ofrece una ventaja para los investigadores interesados ​​en aplicaciones de atención médica que reflejen valores de equidad, diversidad e inclusión. Nuestro sistema de atención médica universal crea un depósito de registros médicos electrónicos que proporciona una gran cantidad de datos médicos que podrían usarse para entrenar aplicaciones impulsadas por la inteligencia artificial. Este potencial atrajo a Ghassemi a Toronto. Pero la tecnología información, el formato y las reglas para acceder a estos registros varían de una provincia a otra, lo que complica la creación del tipo de conjuntos de datos que pueden hacer avanzar la investigación.

Ghassemi también se sorprendió al saber que estos registros rara vez incluyen datos sobre la raza. Esto significa que si está usando un algoritmo para determinar qué tan bien un tratamiento dado sirve a diferentes sectores de la sociedad, podía identificar disparidades entre hombres y mujeres, por ejemplo, pero no entre gente blanca y gente racializada. Como resultado, en su docencia e investigación, está utilizando datos estadounidenses disponibles públicamente que contienen información sobre la raza.

"Auditando mis propios modelos [utilizando datos estadounidenses], Puedo mostrar cuando algo tiene una mayor inexactitud para personas con diferentes etnias, ", dice." No puedo hacer esta evaluación en Canadá. No tengo forma de comprobarlo ".

Ghassemi está interesado en crear aplicaciones de IA que sean justas por derecho propio y que también puedan ayudar a los seres humanos a contrarrestar sus propios prejuicios. "Si podemos proporcionar herramientas basadas en poblaciones muy diversas, les estamos dando a los médicos algo que los ayudará a tomar mejores decisiones, " ella dice.

Mujeres, por ejemplo, están significativamente infradiagnosticados para afecciones cardíacas. Una IA podría señalar tal peligro para un médico que podría pasarlo por alto. "Ese es un lugar donde una solución tecnológica puede ayudar, porque los doctores son humanos, y los humanos están sesgados, " ella dice.

Ethayarajh está de acuerdo con Ghassemi y Baecker en que Canadá tiene una importante oportunidad para aprovechar su ventaja sobre la imparcialidad y el sesgo en la investigación de inteligencia artificial.

"Creo que los investigadores de IA aquí son muy conscientes del problema, "Dice Ethayarajh." Creo que una parte de eso es, si miras alrededor de la oficina, ves muchas caras diferentes. Las personas que trabajen en estos modelos serán los usuarios finales de estos modelos. Mas ampliamente, Creo que hay un enfoque cultural muy fuerte en la equidad que hace que esta sea un área importante para los investigadores de este país ".