Wikipedia ha permitido a gran escala, colaboración abierta en el recurso de referencia general más grande de Internet. Pero, como ocurre con muchos proyectos de escritura colaborativa, la elaboración del contenido puede ser un tema polémico.

A menudo, varios editores de Wikipedia no estarán de acuerdo con ciertos cambios en artículos o políticas. Una de las principales formas de resolver oficialmente tales disputas es el proceso de Solicitudes de comentarios (RfC). Los editores en disputa darán a conocer su deliberación en un foro, donde otros editores de Wikipedia intervendrán y un editor neutral tomará una decisión final.

Idealmente, esto debería resolver todos los problemas. Pero un nuevo estudio realizado por investigadores del MIT encuentra que factores debilitantes, como disputas excesivas y argumentos mal redactados, han llevado a que alrededor de un tercio de los RfC no se resuelvan.

Para el estudio, los investigadores compilaron y analizaron el primer conjunto de datos completo de conversaciones RfC, capturados durante un período de ocho años, y realicé entrevistas con editores que frecuentemente cierran RfCs, para entender por qué no encuentran una solución. También desarrollaron un modelo de aprendizaje automático que aprovecha ese conjunto de datos para predecir cuándo las RfC pueden quedarse obsoletas. Y, recomiendan herramientas digitales que podrían hacer que la deliberación y la resolución sean más efectivas.

"Fue sorprendente ver que un tercio de las discusiones no se cerraron, "dice Amy X. Zhang, candidato a doctorado en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (CSAIL) y coautor del artículo, que se presenta en la Conferencia ACM de esta semana sobre trabajo cooperativo asistido por computadora y computación social. "En Wikipedia, todo el mundo es voluntario. La gente se está esforzando y tienen interés ... y los editores pueden estar esperando a que alguien cierre para poder volver a editar. Sabemos, mirando a través de las discusiones, el trabajo de leer y resolver una gran deliberación es difícil, especialmente con idas y venidas y contención. [Esperamos] ayudar a esa persona a hacer ese trabajo ".

Los coautores del artículo son:primera autora Jane Im, estudiante de posgrado en la Escuela de Información de la Universidad de Michigan; Christopher J. Schilling de la Fundación Wikimedia; y David Karger, profesor de informática e investigador de CSAIL.

(No) encontrar un cierre

Wikipedia ofrece varios canales para resolver disputas editoriales, que involucran a dos editores que resuelven sus problemas, someter las ideas a un voto de mayoría simple de la comunidad, o llevar el debate a un panel de moderadores. Algunas investigaciones anteriores de Wikipedia se han adentrado en esos canales y en las "guerras de edición" de ida y vuelta entre contribuyentes. "Pero los RfC son interesantes, porque hay mucha menos mentalidad de voto, "Dice Zhang." Con otros procesos, al final del día votarás y verás qué pasa. [Los participantes de RfC] votan a veces, pero se trata más de encontrar un consenso. Lo importante es lo que realmente está sucediendo en una discusión ".

Para presentar un RfC, un editor redacta una propuesta de plantilla, basado en una disputa de contenido que no se resolvió en la página de "discusión" básica de un artículo, e invita a comentarios de la comunidad en general. Las propuestas abarcan toda la gama, desde desacuerdos menores sobre la información de antecedentes de una celebridad hasta cambios en las políticas de Wikipedia. Cualquier editor puede iniciar un RfC y cualquier editor, por lo general, los más experimentados, que no participaron en la discusión y se consideran neutrales, puede cerrar una discusión. Después de 30 días, un bot elimina automáticamente la plantilla RfC, con o sin resolución. Los RfC pueden cerrar formalmente con una declaración resumida del vendedor, informalmente debido al acuerdo abrumador de los participantes, o quedarme rancio, es decir, eliminado sin resolución.

Para su estudio, los investigadores compilaron una base de datos que consta de aproximadamente 7, 000 conversaciones de RfC de la Wikipedia en inglés de 2011 a 2017, que incluía declaraciones de cierre, información de la cuenta del autor, y estructura de respuesta general. También realizaron entrevistas con 10 de los cerradores más frecuentes de Wikipedia para comprender mejor sus motivaciones y consideraciones al resolver una disputa.

Analizando el conjunto de datos, Los investigadores encontraron que alrededor del 57 por ciento de los RfC estaban formalmente cerrados. Del 43 por ciento restante, 78 por ciento (o alrededor de 2, 300) quedaron obsoletos sin una resolución informal, o alrededor del 33 por ciento de todos los RfC estudiados. Combinando el análisis del conjunto de datos con las entrevistas, Luego, los investigadores desarrollaron las principales causas de fallas en la resolución. Los problemas principales incluyen argumentos iniciales mal articulados, cuando el iniciador no tiene claro el tema o escribe una propuesta deliberadamente sesgada; disputas excesivas durante las discusiones que conducen a más complicadas, más extenso, hilos argumentativos que son difíciles de examinar a fondo; y la simple falta de interés de los editores externos porque los temas pueden ser demasiado esotéricos, entre otros factores.

Herramientas útiles

Luego, el equipo desarrolló un modelo de aprendizaje automático para predecir si un RfC dado se cerraría (formal o informalmente) o quedaría obsoleto. analizando más de 60 características del texto, Página de Wikipedia, e información de la cuenta del editor. El modelo logró una precisión del 75 por ciento para predecir el fracaso o el éxito dentro de una semana después de que comenzara la discusión. Algunas características más informativas para la predicción, ellos encontraron, incluir la duración de la discusión, número de participantes y respuestas, número de revisiones del artículo, popularidad e interés en el tema, experiencia de los participantes de la discusión, y el nivel de vulgaridad, negatividad y agresión generalizada en los comentarios.

El modelo podría ser utilizado algún día por los iniciadores de RfC para monitorear una discusión a medida que se desarrolla. "Creemos que podría ser útil para los editores saber cómo orientar sus intervenciones, ", Dice Zhang." Podrían publicar [el RfC] en más [foros de Wikipedia] o invitar a más personas, si parece que está en peligro de no resolverse ".

Los investigadores sugieren que Wikipedia podría desarrollar herramientas para ayudar a los cerradores a organizar largas discusiones, marcar argumentos persuasivos y cambios de opinión dentro de un hilo, y fomentar el cierre colaborativo de los RfC.

En el futuro, el modelo y las herramientas propuestas podrían potencialmente usarse para otras plataformas comunitarias que involucren discusiones y deliberaciones a gran escala. Zhang señala foros de planificación de ciudades y comunidades en línea, donde los ciudadanos opinan sobre las propuestas. "La gente está discutiendo [las propuestas] y votando sobre ellas, para que las herramientas puedan ayudar a las comunidades a comprender mejor las discusiones ... y [también] serían útiles para los implementadores de las propuestas ".

Zhang, Soy, y otros investigadores han creado un sitio web externo para que los editores de todos los niveles de experiencia se reúnan y aprendan unos de otros. y monitorear y cerrar discusiones más fácilmente. "El trabajo de cerrador es bastante difícil, "Zhang dice, "por lo que hay una escasez de personas que buscan cerrar estas discusiones, especialmente difícil, más extenso, y más consecuentes. Esto podría ayudar a reducir la barrera de entrada [para que los editores se conviertan en cerradores] y ayudarlos a colaborar para cerrar los RfC ".

"Si bien es sorprendente que un tercio de estas discusiones nunca se resolvieron, [lo que es más] importante son las razones por las que las discusiones no llegan a cerrarse, y las conclusiones más interesantes aquí provienen de los análisis cualitativos, "dice Robert Kraut, profesor emérito de interacciones humano-computadora en Carnegie Melon University. "Algunos hallazgos [del estudio] trascienden Wikipedia y pueden aplicarse a muchas discusiones en otros entornos". Mas trabajo, él añade, podría hacerse para mejorar la precisión del modelo de aprendizaje automático con el fin de proporcionar información más procesable a Wikipedia.

El estudio arroja luz sobre cómo algunos procesos de RFC "se desvían de las normas establecidas, conduciendo a ineficiencias y sesgos, "dice Dario Taraborelli, director de investigación de la Fundación Wikimedia. "Los resultados indican que la experiencia de los participantes y la duración de una discusión son fuertemente predictivas del cierre oportuno de un RfC. Esto trae nueva evidencia empírica a la cuestión de cómo hacer que las discusiones relacionadas con la gobernanza sean más accesibles para los recién llegados y los miembros de grupos subrepresentados grupos ".

Esta historia se vuelve a publicar por cortesía de MIT News (web.mit.edu/newsoffice/), un sitio popular que cubre noticias sobre la investigación del MIT, innovación y docencia.