Evaluar la usabilidad del software de código abierto (OSS), software que está disponible gratuitamente para desarrolladores de todo el mundo, generalmente implica analizar la retroalimentación y comentarios de quienes lo utilizaron. Procesar y comprender los comentarios proporcionados en las discusiones de los usuarios, sin embargo, puede ser un desafío debido a la gran cantidad de comentarios en línea, y porque a menudo presentan opiniones contrarias.

Consciente de estas dificultades, investigadores de la Universidad McGill, la Universidad de Bari y la Politécnica de Montreal han desarrollado recientemente ArguLens, un marco teórico y una técnica automatizada para simplificar el análisis de las discusiones de la comunidad relacionadas con la usabilidad del OSS. Su artículo reciente, prepublicado en arXiv, es parte de un esfuerzo de investigación en curso más amplio destinado a ayudar a los desarrolladores de proyectos de código abierto a mejorar la usabilidad de su software.

"Comprender las razones detrás de las solicitudes de la comunidad y evaluar más a fondo su impacto en los usuarios finales puede resultar muy difícil, especialmente cuando las opiniones de la comunidad están en conflicto entre sí, "dijeron los investigadores a TechXplore, vía correo electrónico. "El objetivo principal de nuestro estudio fue ayudar a los colaboradores de código abierto a digerir y evaluar las opiniones de la comunidad sobre la usabilidad de su proyecto".

Antes de comenzar a trabajar en ArguLens, los investigadores mantuvieron largas discusiones con colaboradores de código abierto para comprender mejor qué les parecía más desafiante sobre la comprensión de los comentarios que recibieron de la comunidad. Descubrieron que la mayoría de los desarrolladores experimentaron enormes dificultades para digerir e incorporar los comentarios de la comunidad, incluidas sugerencias y solicitudes realizadas a través de sistemas de seguimiento de problemas.

Esto se debió al gran volumen de comentarios que recopilaron, así como al hecho de que los usuarios a menudo expresan perspectivas diversas y un tanto opuestas. Conjunto, Estos dos factores a menudo dificultaban el procesamiento y la asimilación de los comentarios relacionados con la usabilidad.

Los investigadores diseñaron ArguLens con el objetivo clave de ayudar a los desarrolladores de OSS a dar sentido a los comentarios ricos y variados que recopilaron en línea. ArguLens incluye un marco conceptual y una técnica automatizada para el análisis de comentarios en línea.

"Como marco conceptual, adapta un modelo de argumentación propuesto por Stephen Toulmin para estructurar las discusiones relacionadas con la usabilidad en tres elementos principales:Afirmación, Suelo, y orden, "explicaron los investigadores." Esto es lo que llamamos la 'anatomía' de las opiniones de la comunidad. Como técnica automatizada, propone métodos de procesamiento del lenguaje natural para detectar estos elementos de las discusiones relacionadas con la usabilidad en forma libre ".

Los desarrolladores y otros miembros de la comunidad pueden usar ArguLens para diferenciar y sintetizar solicitudes concretas realizadas por miembros de la comunidad (capturadas dentro de la categoría "Reclamación"), así como datos sobre su sistema que interesan a la comunidad (capturados dentro de la categoría "base") y opiniones personales sobre por qué los hechos individuales son particularmente importantes para los usuarios (capturados dentro de la categoría "Autorización"). En general, Por tanto, el marco se puede utilizar para discusiones de andamiaje y para analizar problemas de usabilidad de OSS.

Como parte de su investigación, El equipo evaluó y determinó la escalabilidad de ArguLens utilizando técnicas de aprendizaje automático supervisadas para la extracción automática de argumentos. También pidieron a los desarrolladores experimentados que usaran ArguLens y dieran su opinión sobre si les ayudó a comprender los comentarios de la comunidad. La retroalimentación que recibieron fue muy prometedora, ya que la mayoría de los usuarios dijo que el marco les ayudó a digerir y revisar mejor las opiniones relacionadas con la usabilidad.

"Una aplicación directa del marco ArguLens podría ser en herramientas para sistemas de seguimiento de problemas de código abierto para proporcionar una interfaz eficaz para las discusiones de la comunidad sobre problemas de usabilidad, ", dijeron los investigadores." Una vez que se adoptó ampliamente, este marco puede inducir un cambio revolucionario en la forma en que las personas consideran los problemas de usabilidad de código abierto, fomentando un debate constructivo sobre estos temas y, finalmente, ayudando a mejorar la usabilidad del código abierto ".

El marco pronto podría ayudar a los desarrolladores de OSS de todo el mundo a dar sentido a las opiniones contrastantes sobre la usabilidad de sus proyectos. Curiosamente, sin embargo, También podría aplicarse a otros aspectos del software que se pueden mejorar en función de los comentarios de los usuarios, como privacidad o seguridad. El equipo ahora planea mejorar aún más el marco, centrándose en dos nuevas direcciones de investigación.

"Primero, estamos investigando diseños de herramientas que puedan presentar de manera efectiva la información capturada por el marco ArguLens, ", dijeron los investigadores." Esto no sólo nos ayudará a comprender mejor la eficacia de este marco en la naturaleza (en entornos del mundo real), sino que también puede resultar en aplicaciones concretas que beneficien directamente a las comunidades de código abierto. Segundo, nos estamos centrando en métodos humanos en el circuito para mitigar la clasificación imperfecta de las técnicas automatizadas, para garantizar aún más la escalabilidad y la utilidad de este marco ".

© 2020 Science X Network