La inteligencia artificial está transformando nuestro mundo, a veces de formas que sus creadores no pretendían. En Wellcome Data Labs estamos desarrollando un nuevo método para aplicar enfoques de las ciencias sociales a la forma en que se producen los algoritmos de IA para resolver problemas de ciencia de datos. El objetivo es evitar posibles consecuencias negativas de los algoritmos identificándolos antes en el proceso de desarrollo.

Ya ha habido intentos de establecer tal forma de trabajar. Un ejemplo es el excelente post de Catalina Butnaru proponiendo un nuevo proceso de ética ágil. Hay mucho que recomendar este enfoque, entre otras cosas, es sistemático y está estrechamente alineado en sus pasos con los pasos bien conocidos de las metodologías ágiles de desarrollo de software.

Sin embargo, Butnaru no aborda la mecánica de cómo se podría gestionar el proceso de ética ágil que sugirió. ¿Es el propio equipo de científicos e ingenieros de datos el responsable de seguir los pasos? ¿O su gerente de producto? ¿O el equipo de UX? ¿O un equipo separado de los ingenieros que audita su trabajo?

Hemos estado pensando mucho en estas cuestiones, ya que estamos ansiosos por probar cómo se pueden aplicar los enfoques éticos al trabajo de los científicos de datos en la práctica y no solo en la teoría.

El desafío clave que nos planteamos es:cómo aplicar un proceso como el de Butnaru, o una de las otras metodologías rivales, de forma que se reduzcan de forma apreciable los problemas éticos, como un sesgo inadvertido, pero, ¿no reduce la energía y la eficacia de nuestros equipos de productos ágiles?

Creemos que esto se puede lograr alentando a los científicos sociales a trabajar como parte de equipos interdisciplinarios con desarrolladores de software y científicos de datos. adoptando sus metodologías ágiles e iterativas.

He esbozado algunos de los desafíos de hacer esto. Por ejemplo, la dificultad de conseguir que los investigadores de las ciencias sociales trabajen a la misma velocidad y al mismo ritmo que los desarrolladores de software y los científicos de datos. Sin embargo, Existe una plantilla potencial a seguir aprendiendo de la integración exitosa de la disciplina de Experiencia de Usuario en los flujos de trabajo de desarrollo de software.

Hay un desafío adicional, aunque. Depender de un investigador de usuarios integrado en un equipo de producto para dirigir ese equipo a través de una metodología de ética ágil por sí solo presenta el riesgo de que pierdan la objetividad. Este es un tema bien conocido en la investigación etnográfica, donde existe una tensión activa entre el rol del investigador como observador imparcial y la alternativa de ser un participante activo.

Una forma menos técnica de verlo es que la gente, fundamentalmente, son jugadores de equipo:quieren integrarse y pueden tener dificultades para criticar el trabajo de sus compañeros más cercanos. También pueden estar sujetos al "pensamiento grupal" sin darse cuenta.

En Wellcome Data Labs hemos elaborado un enfoque combinado de la ética ágil que tiene como objetivo resolver este problema. Nuestra metodología propuesta tiene tres pasos:

1. Incorporar en Data Labs a un investigador de usuarios con experiencia tanto en el trabajo como parte de equipos de productos ágiles como en la realización de investigaciones en ciencias sociales. Este investigador integrado tendrá el objetivo explícitamente definido de probar los modelos algorítmicos en los que los desarrolladores de software y los científicos de datos están trabajando desde el punto de vista de su posible impacto social.
2. Ajustarán y desarrollarán su análisis de forma iterativa para que coincida con la velocidad del trabajo tecnológico y enviarán sus conclusiones emergentes a los científicos de datos para dirigir el curso de su trabajo.
3. El investigador integrado se emparejará con otro científico social fuera del equipo para proporcionar una crítica objetiva y los controles y contrapesos necesarios en su análisis.

Las tres partes de la metodología propuesta son igualmente importantes.

• No incorporar al investigador en el equipo les dificultaría tener un conocimiento lo suficientemente cercano de lo que están haciendo los científicos de datos.
• No volver a probar y reescribir iterativamente su análisis del posible impacto social no coincidirá con el ritmo del desarrollo tecnológico, la ventaja clave propuesta de esta metodología.
• Finalmente, el emparejamiento está diseñado para evitar que el investigador integrado corra el riesgo de perder su objetividad y desapego profesional, lo cual es un riesgo precisamente porque están muy integrados en los equipos de tecnología.
• Todo este enfoque es un experimento en sí mismo y no estamos del todo seguros de que funcione. Sin embargo, eso es exactamente lo que nos emociona. Esperamos que nos ayude a ser más conscientes de los sesgos que introducen los algoritmos que desarrollamos y minimizar las posibles consecuencias negativas no intencionales de las herramientas que produce el equipo.

Esto es importante porque Wellcome, como un importante financiador de la investigación científica, tiene un impacto notable en las industrias académica y de la salud. Y el análisis de Wellcome Data Labs se incorpora al proceso de toma de decisiones de Wellcome. Cualquier sesgo no intencionado en los algoritmos que produce mi equipo que pueda afectar las decisiones de Wellcome, podría tener un efecto dominó en las decisiones de más donantes, lo que, a su vez, podría producir impactos secundarios en otras industrias y en la sociedad en general. Tenemos la responsabilidad de hacerlo bien.