Crédito:Pixabay/CC0 Dominio público
Esta semana, muchas universidades australianas enviarán a los académicos los resultados de las encuestas de evaluación de estudiantes del primer semestre.
Para algunos, este será un momento preocupante y desagradable. Los comentarios que los estudiantes universitarios hacen de forma anónima en sus evaluaciones docentes pueden hacer que los académicos se sientan temerosos, angustiados y desmoralizados.
Y con buena razón. Como encontró una encuesta de 2021 de académicos australianos y sus experiencias con los comentarios de los estudiantes:"Se informaron comúnmente comentarios personalmente destructivos, difamatorios, abusivos e hirientes".
Los comentarios hirientes o abusivos pueden quedar permanentemente registrados como una medida del desempeño. Estos registros pueden afectar las solicitudes de promoción o de empleo continuo seguro.
Los autores de la encuesta de 2021, dirigidos por Richard Lakeman en la Universidad Southern Cross, se encuentran entre los que piden que se eliminen las encuestas anónimas en línea. Algunos académicos, quemados por su experiencia con los comentarios de los estudiantes, dicen que ya no abren ni interactúan con los informes de evaluación de los estudiantes. Dijeron que el riesgo de daño superaba cualquier beneficio.
En el programa de Netflix The Chair, una escena memorable ve al personaje de la profesora Joan Hambling quemar las evaluaciones de sus estudiantes. Claramente, se necesita una solución diferente.
Los comentarios de los estudiantes aún pueden ser valiosos para elevar los estándares de enseñanza y es importante que los estudiantes expresen su opinión.
Hemos desarrollado un sistema de evaluación que utiliza el aprendizaje automático (donde el software cambia su comportamiento al "aprender" de la entrada del usuario) que permite a los estudiantes hablar sobre sus experiencias mientras protege a los académicos de comentarios inaceptables.
Por qué se necesita un nuevo enfoque
Los códigos de conducta universitarios recuerdan a los estudiantes su obligación general de abstenerse de conductas abusivas o discriminatorias, pero no específicamente con respecto a las evaluaciones de los estudiantes.
En cambio, las universidades confían en la autorregulación o en otros para reportar incidentes. Algunas instituciones utilizan bloqueadores de blasfemias para filtrar los comentarios. Incluso entonces, estos a menudo no detectan términos emergentes de abuso en el habla en línea.
Entonces, al configurar nuestro sistema de detección, queríamos:
Desarrollamos un método utilizando el aprendizaje automático y un diccionario de términos para detectar comentarios inaceptables de los estudiantes. El diccionario fue creado por QUT basándose en comentarios inaceptables históricamente identificados e incorporando investigaciones previas sobre términos abusivos y discriminatorios.
Nuestra solución 'Screenomatic'
No hay muchos trabajos publicados sobre la detección de comentarios inaceptables o abusivos en encuestas de evaluación de estudiantes. Entonces, nuestro equipo adaptó investigaciones anteriores sobre la detección de tweets misóginos. Esto funcionó porque, a menudo, los comentarios de los estudiantes que analizamos tenían una longitud similar al límite de 280 caracteres de un tweet.
Nuestro enfoque, al que llamamos "Screenomatic", revisó automáticamente más de 100 000 comentarios de estudiantes durante 2021 e identificó aquellos que parecían ser abusos. Los miembros capacitados del personal de evaluación revisaron manualmente alrededor de 7000 comentarios marcados y actualizaron el modelo de aprendizaje automático después de cada semestre. Cada actualización mejora la precisión de la detección automática.
En última instancia, se eliminaron 100 comentarios antes de que los resultados se publicaran para educadores y supervisores. La política de la universidad permite volver a identificar los comentarios en casos de posible mala conducta. El equipo central de evaluaciones contactó a estos estudiantes y les recordó sus obligaciones bajo el código de conducta.
El modelo Screenomatic puede ayudar a proteger tanto a los educadores como a los estudiantes. El personal está protegido contra el abuso, y los estudiantes en riesgo, que hacen comentarios que indican que necesitan ayuda de salud mental, incluyen denuncias de intimidación o acoso, o que amenazan al personal u otros estudiantes, pueden recibir apoyo. Las universidades pueden compartir datos para entrenar el modelo y mantener la vigencia.
Es importante destacar que el proceso permite a las universidades actuar moralmente para aprovechar las voces de los estudiantes mientras protegen el bienestar de las personas.
Comentarios útiles, no abusos
El número de educadores que reciben comentarios abusivos puede ser relativamente pequeño. Sin embargo, sigue siendo inaceptable que las universidades continúen exponiendo a su personal a comentarios ofensivos con pleno conocimiento de su impacto potencial.
Con el fallo del Tribunal Superior del año pasado sobre la responsabilidad por publicaciones difamatorias y los intentos de mejorar la seguridad en línea, se reconoce cada vez más que las personas no deberían poder publicar mensajes anónimos y dañinos.
Después de todo, el costo de las respuestas de detección no es nada en comparación con el costo para las personas (incluidas las consecuencias para la salud mental o la carrera). Y eso es ignorar los costos potenciales de litigios y daños legales.
Al fin y al cabo, los comentarios anónimos son leídos por personas reales. Como señaló un tuit en respuesta a los hallazgos de Lakeman:
El modelo Screenomatic contribuye en gran medida a permitir que las "toneladas de comentarios útiles" cumplan su propósito previsto y garantizan que las personas no se vean perjudicadas en el proceso.
Este artículo se vuelve a publicar de The Conversation bajo una licencia Creative Commons. Lea el artículo original. Comentarios anónimos problemáticos de los estudiantes sobre los profesores
