Conocer el ABC es esencial para el éxito académico, pero tener un apellido que comience con A, B o C también puede ayudar a obtener la calificación.
Un análisis realizado por investigadores de la Universidad de Michigan de más de 30 millones de registros de calificaciones de la UM encuentra que los estudiantes con nombres alfabéticamente peor clasificados reciben calificaciones más bajas. Esto se debe a los sesgos de calificación secuencial y al orden predeterminado de las entregas de los estudiantes en Canvas, el sistema de gestión de aprendizaje en línea más utilizado, que se basa en la clasificación alfabética de sus apellidos.
Es más, descubrieron que los estudiantes en desventaja alfabética reciben comentarios que son notablemente más negativos y menos educados, y exhiben una calidad de calificación más baja medida por las quejas de los estudiantes después de la calificación.
"Pasamos mucho tiempo pensando en cómo hacer que la calificación sea justa y precisa, pero incluso para mí fue realmente sorprendente", dijo Jun Li, profesor asociado de tecnología y operaciones en la Escuela de Negocios Ross de la UM, quien co- Fue autor del estudio con los estudiantes de doctorado Jiaxin Pei de la Escuela de Información de la UM y Helen (Zhihan) Wang de Ross.
"No se nos ocurrió hasta que analizamos los datos y nos dimos cuenta de que la secuencia marca la diferencia".
Los investigadores recopilaron datos históricos disponibles de todos los programas, estudiantes y tareas en Canvas desde el semestre de otoño de 2014 hasta el semestre de verano de 2022. Complementaron los datos de Canvas con datos de registros universitarios, que contienen información detallada sobre los antecedentes, la demografía y las trayectorias de aprendizaje de los estudiantes en la universidad.
Aunque los datos provienen de la UM, los investigadores dicen que los hallazgos se pueden generalizar entre instituciones y cursos. Están impulsados por un problema de diseño común de los sistemas de gestión del aprendizaje:la configuración predeterminada de clasificar las tareas de los estudiantes alfabéticamente por sus nombres.
Su investigación descubrió un patrón claro de disminución en la calidad de las calificaciones a medida que los calificadores evalúan más tareas. Según Wang, los estudiantes cuyos apellidos comienzan con A, B, C, D o E recibieron una calificación 0,3 puntos más alta de 100 puntos posibles que cuando fueron calificados al azar. Del mismo modo, los estudiantes con apellidos que aparecen más tarde en el alfabeto recibieron una calificación 0,3 puntos más baja, lo que creó una brecha de 0,6 puntos.
Wang señala que para un pequeño grupo de estudiantes (alrededor del 5%) que califican de Z a A, la brecha de calificaciones cambia como se esperaba:los estudiantes A-E están en peor situación, mientras que los estudiantes W-Z reciben calificaciones más altas en relación con las que recibirían si se les calificara al azar. Tales observaciones confirman su hipótesis de que es el orden de calificación lo que conduce a la brecha inicial en las calificaciones.
Una diferencia de 0,6 puntos puede parecer pequeña, pero tal disparidad afectó los promedios de calificaciones de los cursos de los estudiantes, lo que influye negativamente en las oportunidades en sus respectivas trayectorias profesionales.
"Nuestra conclusión es que esto puede ser algo que sucedió inconscientemente por parte de los estudiantes y que en realidad está creando un impacto social real", afirmó Wang.
Pei dice que la idea del estudio surgió durante una conversación que tuvo con Wang en la que hablaban sobre su investigación:ella estudia tecnología educativa y él estudia inteligencia artificial. Observó que una tarea fundamental del aprendizaje automático es el etiquetado de datos, también una tarea secuencial que puede ser larga y tediosa, pero que es aleatoria.
Les hizo pensar en sistemas educativos como Canvas y condujo a algunos estudios piloto para ver si había alguna disparidad entre las calificaciones según la cantidad de tiempo dedicado a la tarea de calificar.
"Sospechamos que la fatiga es uno de los principales factores que impulsan este efecto, porque cuando trabajas en algo durante un largo período de tiempo, te cansas y luego empiezas a perder la atención y tus capacidades cognitivas se ven afectadas". cayendo", dijo Pei.
Los investigadores señalan que existe la opción de calificar las tareas en orden aleatorio, y algunos educadores lo hacen, pero el orden alfabético es el modo predeterminado en Canvas y otros sistemas de gestión del aprendizaje en línea. Una solución sencilla sería establecer el orden aleatorio como configuración predeterminada.
También sugieren que las instituciones académicas podrían contratar más calificadores para clases más grandes, distribuir la carga de trabajo entre más personas o capacitarlos para que sean conscientes y reduzcan el sesgo al calificar.
Li, Wang y Pei han estado compartiendo su investigación en conferencias y ha sido recibida positivamente; muchos están impresionados por su trabajo, aunque confirma las sospechas que muchos albergan. Una reacción en particular llama la atención de Li:sin duda, una arruga de la era de la información sobre la excusa de "el perro se comió mi tarea".
"Un estudiante universitario nos envió un correo electrónico después pidiéndonos que compartiéramos el documento con él", dijo. "Mencionó que su apellido comenzaba con W. Les va a decir a sus padres que no es por él, sino por su apellido".
El estudio está siendo revisado por la revista Management Science. y actualmente disponible como documento de trabajo.
Más información: Zhihan (Helen) Wang et al, 30 millones de registros de calificación de lienzos revelan un sesgo secuencial generalizado y una disparidad inicial de apellidos inducida por el sistema (2023). En SSRN :ssrn.com/abstract=4603146
Información de la revista: Ciencia de la gestión
Proporcionado por la Universidad de Michigan
