Para ayudar a los estudiantes universitarios con dificultades antes de que sea demasiado tarde, cada vez más universidades están adoptando modelos de aprendizaje automático para identificar a los estudiantes en riesgo de deserción.

La información que se incluye en estos modelos puede tener un gran efecto en lo precisos y justos que son. especialmente cuando se trata de características protegidas de los estudiantes como el género, raza e ingresos familiares. Pero en un nuevo estudio, la mayor auditoría de un sistema de inteligencia artificial universitaria hasta la fecha, los investigadores no encuentran evidencia de que eliminar las características protegidas de los estudiantes de un modelo mejore la precisión o la equidad de las predicciones.

Este resultado sorprendió a René Kizilcec, profesor asistente de ciencias de la información y director del Future of Learning Lab.

"Esperábamos que eliminar las características sociodemográficas haría que el modelo fuera menos preciso, por lo establecidas que están estas características en el estudio del rendimiento académico, ", dijo." Aunque encontramos que agregar estos atributos no proporciona ninguna ventaja empírica, recomendamos incluirlos en el modelo, porque al menos reconoce la existencia de inequidades educativas que aún están asociadas a ellas ".

Kizilcec es autor principal de "¿Deberían los modelos de predicción de abandono universitario incluir atributos protegidos?" que se presentará en la conferencia virtual de la Asociación de Maquinaria de Computación sobre el Aprendizaje a Escala, 22-25 de junio. El trabajo ha sido nominado para un premio al Mejor Trabajo de la conferencia.

Los coautores son miembros del Laboratorio del Futuro del Aprendizaje Hannah Lee, un estudiante de maestría en el campo de la informática, y la autora principal Renzhe Yu, estudiante de doctorado en la Universidad de California, Irvine.

Por este trabajo, Kizilcec y su equipo examinaron datos sobre estudiantes tanto en un entorno universitario residencial como en un programa completamente en línea. La institución del estudio es una gran universidad pública del suroeste de EE. UU., que no se menciona en el documento.

Comparando sistemáticamente modelos predictivos con y sin atributos protegidos, los investigadores tenían como objetivo determinar cómo la inclusión de atributos protegidos afecta la precisión de la predicción de deserción universitaria, y si la inclusión de atributos protegidos afecta la equidad de la predicción de deserción universitaria.

El conjunto de datos de los investigadores era enorme:un total de 564, 104 registros de cursos residenciales para 93, 457 alumnos únicos y 2, 877 campos únicos; y 81, 858 registros de cursos en línea para 24, 198 estudiantes únicos y 874 cursos únicos.

Desde el conjunto de datos, El equipo de Kizilcec construyó 58 características de identificación en cuatro categorías, incluidos cuatro atributos protegidos:género del estudiante; estatus universitario de primera generación; miembro de un grupo minoritario subrepresentado (definido como ni asiático ni blanco); y alta necesidad económica. Para determinar las consecuencias del uso de atributos protegidos para predecir la deserción escolar, los investigadores generaron dos conjuntos de características:uno con atributos protegidos y otro sin ellos.

Su principal hallazgo:la inclusión de cuatro atributos protegidos importantes no tiene ningún efecto significativo en tres medidas comunes del rendimiento general de la predicción cuando se utilizan características de uso común, incluyendo expedientes académicos, ya están en el modelo.

"Lo que importa para identificar a los estudiantes en riesgo ya se explica por otros atributos, "Dijo Kizilcec." Los atributos protegidos no agregan mucho. Puede haber una brecha de género o una brecha racial, pero su asociación con la deserción es insignificante en comparación con características como el GPA anterior ".

Dicho eso Kizilcec y su equipo todavía abogan por incluir atributos protegidos en el modelado de predicciones. Señalan que los datos de educación superior reflejan desigualdades de larga data, y citan trabajos recientes en la comunidad más amplia de aprendizaje automático que respalda la noción de "justicia a través de la conciencia".

"Se ha trabajado para demostrar que la forma en que ciertos atributos, como expediente académico, influir en la probabilidad de que un estudiante persista en la universidad puede variar entre diferentes grupos de atributos protegidos, ", dijo." Y así, al incluir las características de los estudiantes en el modelo, podemos explicar esta variación entre diferentes grupos de estudiantes ".

Los autores concluyeron declarando:"Esperamos que este estudio inspire a más investigadores en las comunidades de análisis de aprendizaje y minería de datos educativos a involucrarse con problemas de sesgo algorítmico y equidad en los modelos y sistemas que desarrollan y evalúan".

El laboratorio de Kizilcec ha trabajado mucho sobre la equidad algorítmica en la educación, que dijo es un tema poco estudiado.

"Eso se debe en parte a que los algoritmos [en educación] no son tan visibles, y a menudo funcionan de diferentes maneras en comparación con la justicia penal o la medicina, ", dijo." En educación, no se trata de mandar a alguien a la cárcel, o ser diagnosticado falsamente de cáncer. Pero para el estudiante individual, puede ser un gran problema ser marcado como en riesgo ".