Ph.D. de la Universidad de Toronto El estudiante David Madras dice que muchos de los algoritmos actuales son buenos para hacer predicciones precisas, pero no sé cómo manejar bien la incertidumbre. Si un algoritmo mal calibrado toma una decisión incorrecta, suele estar muy mal.

"Un usuario humano puede comprender una situación mejor que una computadora, si la información no está disponible porque es de naturaleza muy cualitativa, o algo que sucede en el mundo real que no se ingresó en el algoritmo, "dice Madrás, investigador de aprendizaje automático en el departamento de ciencias de la computación que también está afiliado al Vector Institute for Artificial Intelligence.

"Ambos pueden ser muy importantes y pueden tener un efecto sobre las predicciones que se deben [hacer]".

Madras presenta su investigación, "Predecir responsablemente:aumentar la equidad aprendiendo a diferir, "en la Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR), en Vancouver esta semana. La conferencia se centra en los métodos y el rendimiento del aprendizaje automático y reúne a los líderes en el campo.

Madras dice que él y Toniann Pitassi, profesor en los departamentos de informática y matemáticas de la U de T y experto en teoría computacional que también explora la equidad computacional, así como Richard Zemel, un profesor de informática de la U of T y director de investigación del Vector Institute, han desarrollado su modelo pensando en la equidad. Donde hay cierto grado de incertidumbre, un algoritmo debe tener la opción de responder, "No lo sé" y diferir su decisión a un usuario humano.

Madras explica si Facebook usara un algoritmo para etiquetar automáticamente a las personas en imágenes, tal vez no sea tan importante si el etiquetado se hace mal. Pero cuando los resultados individuales son de alto impacto, el riesgo puede ser mayor. Dice que el modelo aún no se ha aplicado a ninguna aplicación específica, sino que los investigadores están pensando en los tipos de formas en que podría usarse en casos del mundo real.

"En entornos médicos, puede ser importante generar algo que se pueda interpretar (existe cierta incertidumbre en torno a su predicción) y un médico debe decidir si se debe administrar el tratamiento ".

El supervisor graduado de Madrás, Zemel, que ocupará una cátedra de investigación industrial NSERC en aprendizaje automático este verano, también está examinando cómo se puede hacer que el aprendizaje automático sea más expresivo, controlable y justo.

Zemel dice que el aprendizaje automático basado en datos históricos, como si se aprobó un préstamo bancario o la duración de las penas de prisión, naturalmente se dará cuenta de los prejuicios. Y los sesgos en el conjunto de datos pueden manifestarse en las predicciones de una máquina, él dice.

"En este papel, pensamos mucho en un tomador de decisiones externo. Para entrenar nuestro modelo, tenemos que usar decisiones históricas que son tomadas por quienes toman las decisiones. Los resultados de esas decisiones, creado por los tomadores de decisiones existentes, pueden ser ellos mismos sesgados o, en cierto sentido, incompletos ".

Madras cree que el mayor enfoque en la equidad algorítmica junto con los problemas de privacidad, seguridad y protección, ayudará a que el aprendizaje automático sea más aplicable a aplicaciones de alto riesgo.

"Está planteando preguntas importantes sobre la función de un sistema automatizado que toma decisiones importantes, y cómo hacer que [ellos] predigan de la manera que queremos que lo hagan ".

Madras dice que sigue pensando en cuestiones de equidad y áreas relacionadas, como la causalidad:dos cosas pueden estar correlacionadas, porque ocurren juntas con frecuencia, pero eso no significa que una cause la otra.

"Si un algoritmo decide cuándo conceder un préstamo a alguien, Es posible que descubra que las personas que viven en un determinado código postal tienen menos probabilidades de devolver los préstamos. Pero eso puede ser una fuente de injusticia. No es que vivir en un código postal determinado te haga menos probable que pagues un préstamo, " él dice.

"Es un interesante e importante conjunto de problemas en los que trabajar".