Los algoritmos se están volviendo comunes. Pueden determinar las perspectivas de empleo, la seguridad financiera y más. El uso de algoritmos puede ser controvertido, por ejemplo, robodebt, como se conoció el defectuoso sistema de cumplimiento de bienestar social en línea del gobierno australiano.

Los algoritmos se utilizan cada vez más para tomar decisiones que tienen un impacto duradero en nuestra vida actual y futura.

Algunos de los mayores impactos de la toma de decisiones algorítmica están en la educación. Si tiene algo que ver con una escuela o universidad australiana, en algún momento un algoritmo tomará una decisión que le importa.

Entonces, ¿qué tipo de decisiones podrían involucrar algoritmos? Algunas decisiones involucrarán la siguiente pregunta para que los estudiantes de la escuela respondan en una prueba, como la provisión en línea de NAPLAN. Algunos algoritmos respaldan la toma de decisiones humanas en las universidades, como la identificación de estudiantes en riesgo de reprobar una materia. Otros sacan al ser humano del circuito, como algunas formas de supervisión de exámenes en línea.

¿Cómo funcionan los algoritmos?

A pesar de su impacto generalizado en nuestras vidas, a menudo es difícil entender cómo funcionan los algoritmos, por qué se diseñaron y por qué se utilizan. A medida que los algoritmos se vuelven una parte clave de la toma de decisiones en la educación, y en muchos otros aspectos de nuestras vidas, las personas deben saber dos cosas:

1. cómo funcionan los algoritmos
2. los tipos de compensaciones que se realizan en la toma de decisiones utilizando algoritmos.

En la investigación para explorar estos dos temas, desarrollamos un juego de algoritmos utilizando metodologías participativas para involucrar a diversas partes interesadas en la investigación. El proceso se convierte en una forma de experimentación colectiva para fomentar nuevas perspectivas y puntos de vista sobre un tema.

Nuestro juego de algoritmos se basa en la controversia de los exámenes del Reino Unido en 2020. Durante los bloqueos de COVID-19, se utilizó un algoritmo para determinar las calificaciones de los estudiantes que deseaban asistir a la universidad. El algoritmo predijo calificaciones para algunos estudiantes que fueron mucho más bajas de lo esperado. Ante las protestas, el algoritmo finalmente fue descartado.

Juego de culpas absurdo:culpe al ser humano, no al algoritmo—" PM Boris Johnson culpa al 'algoritmo mutante' por el fiasco del examen de secundaria del Reino Unido" https://t.co/6z49scUYHd cc @zeynep @soizicpenicaud @HenriVerdier

— Martín Tisné (@martintisne) 26 de agosto de 2020

Nuestro equipo interdisciplinario codiseñó el juego de algoritmos de examen del Reino Unido en una serie de dos talleres y múltiples reuniones este año. Nuestros talleres incluyeron estudiantes, científicos de datos, especialistas en ética y científicos sociales. Tales perspectivas interdisciplinarias son vitales para comprender la variedad de implicaciones sociales, éticas y técnicas de los algoritmos en la educación.

Los algoritmos hacen concesiones, por lo que se necesita transparencia

El ejemplo del Reino Unido destaca problemas clave con el uso de algoritmos en la sociedad, incluidos problemas de transparencia y sesgo en los datos. Estos problemas importan en todas partes, incluida Australia.

Diseñamos el juego de algoritmos para ayudar a las personas a desarrollar las herramientas para tener más voz en la configuración del mundo que están creando los algoritmos. Los "juegos" de algoritmos invitan a las personas a jugar y aprender sobre los parámetros de funcionamiento de un algoritmo. Los ejemplos incluyen juegos que muestran a las personas cómo se utilizan los algoritmos en las sentencias penales o pueden ayudar a predecir el riesgo de incendio en los edificios

Hay una conciencia pública cada vez mayor de que los algoritmos, especialmente los que se utilizan en formas de inteligencia artificial, deben entenderse como un problema de equidad. Pero si bien todos pueden tener una comprensión vernácula de lo que es justo o injusto, cuando se utilizan algoritmos, se involucran numerosas compensaciones.

En nuestro juego de algoritmos, llevamos a las personas a través de una serie de problemas en los que la solución a un problema de equidad simplemente introduce uno nuevo. Por ejemplo, el algoritmo del Reino Unido no funcionó muy bien para predecir las calificaciones de los estudiantes en las escuelas donde un número menor de estudiantes tomó ciertas materias. Esto fue injusto para estos estudiantes.

La solución significaba que el algoritmo no se usaba para estas escuelas a menudo muy privilegiadas. Estos estudiantes luego recibieron las calificaciones previstas por sus maestros. Pero estas calificaciones fueron en su mayoría más altas que las calificaciones generadas por algoritmos que recibieron los estudiantes en las escuelas más grandes, que en su mayoría eran escuelas integrales gubernamentales. Entonces, esto significó que la decisión fue justa para los estudiantes de las escuelas pequeñas, e injusta para los de las escuelas más grandes que tenían calificaciones asignadas por el algoritmo.

Lo que tratamos de demostrar en nuestro juego es que no es posible tener un resultado perfecto. Y que ni los humanos ni los algoritmos harán un conjunto de elecciones que sean justas para todos. Esto significa que tenemos que tomar decisiones sobre qué valores importan cuando usamos algoritmos.

El público debe tener voz para equilibrar el poder de EdTech

Si bien nuestro juego de algoritmos se enfoca en el uso de un algoritmo desarrollado por un gobierno, los algoritmos en educación se introducen comúnmente como parte de la tecnología educativa. La industria EdTech se está expandiendo rápidamente en Australia. Las empresas buscan dominar todas las etapas de la educación:inscripción, diseño del aprendizaje, experiencia de aprendizaje y aprendizaje permanente.

Junto con estos desarrollos, COVID-19 ha acelerado el uso de la toma de decisiones algorítmica en la educación y más allá.

Si bien estas innovaciones abren posibilidades asombrosas, los algoritmos también traen consigo una serie de desafíos que debemos enfrentar como sociedad. Ejemplos como el algoritmo de examen del Reino Unido nos exponen cómo funcionan dichos algoritmos y los tipos de decisiones que deben tomarse al diseñarlos. Luego nos vemos obligados a responder preguntas profundas sobre qué valores elegiremos priorizar y qué hoja de ruta para la investigación llevaremos a cabo.

Nuestras elecciones darán forma a nuestro futuro y al futuro de las generaciones venideras.