Una vista de la interfaz que Hosseini y su equipo usaron para probar su modelo, hacer preguntas a los trabajadores de colaboración colectiva sobre geografía, películas y obras de arte para elegir, por ejemplo, qué película de una selección de cuatro tuvo los ingresos de taquilla más taquilleros de todos los tiempos. Los investigadores utilizaron seis formatos diferentes para obtener respuestas de los participantes, como seleccionar la respuesta principal de una lista de cuatro opciones (como se muestra en la Tarea 2) o clasificar esas cuatro opciones en orden (como se muestra en la Tarea 8). A algunos participantes también se les pidió que pronosticaran qué respuesta principal elegirían otros o cómo clasificarían otros su orden. como se muestra en ambos ejemplos. Crédito:Universidad Estatal de Pensilvania
Imagine que se le pide que clasifique los condados de Pensilvania en términos de número de infecciones por COVID-19. O se le puede pedir que clasifique las siguientes ciudades de Pensilvania según su población:Harrisburg, Allentown, Erie y State College.
¿Cuál sería su respuesta? ¿Cómo crees que otros responderían estas preguntas?
Un nuevo algoritmo desarrollado por un equipo de investigadores dirigido por Hadi Hosseini, profesor asistente en el Penn State College of Information Sciences and Technology, puede llegar a la verdadera respuesta a esta y otras preguntas similares combinando el voto u opinión del propio encuestado con su predicción sobre cómo responderán los demás.
Hosseini explicó que una persona que conozca Pensilvania probablemente conocerá la respuesta a la pregunta anterior. También pueden predecir que otros participantes menos informados, de media, proporcionaría la clasificación incorrecta. En cambio, Es muy probable que los participantes uniformados no estén al tanto de la respuesta correcta y pueden dar una clasificación incorrecta de estas ciudades.
"Este es el quid de nuestro algoritmo:utilizar la información adicional que los participantes informados tienen para corregir tales errores, " él dijo.
El método de los investigadores amplía un enfoque existente de solicitar la sabiduría de una multitud, llamado método sorprendentemente popular, que se ha utilizado en escenarios como los encuestadores políticos que predicen el resultado de las elecciones y los investigadores que predicen los ganadores de los juegos de la NFL. Como el modelo de Hosseini, Un método sorprendentemente popular pide a los encuestados que proporcionen dos respuestas por pregunta:cuál es su propia opinión o voto, y cómo predicen que otros votarán. La técnica aprovecha el conocimiento de un pequeño grupo de expertos en una multitud más grande para señalar la respuesta correcta.
Sin embargo, el método sorprendentemente popular se ha limitado a predecir una única respuesta correcta a una pregunta planteada, como "¿Cuál es la capital de Pensilvania?" o "¿Cuánto dinero ganó la película" Titanic "en la taquilla en todo el mundo?" El modelo de Hosseini extiende este concepto a opciones o alternativas clasificadas.
"No es necesario obtener clasificaciones y predicciones completas de los demás, ", dijo Hosseini." ¡Podemos recuperar la verdad básica combinando tanto el voto como las predicciones sin obtener distribuciones completas sobre todos los posibles n! clasificaciones. Y esto es cierto para recuperar solo la primera opción o la clasificación completa ".
El método podría potencialmente aplicarse para mejorar la previsión con opciones clasificadas, como en las encuestas a boca de urna para predecir los resultados de las elecciones políticas. Según Hosseini, haciendo preguntas secundarias a los votantes a través de su método, se requerirían menos muestras en comparación con las encuestas a boca de urna estándar que se basan en un muestreo aleatorio.
El enfoque de Hosseini también supera significativamente los métodos de votación convencionales, como la regla de la mayoría simple, que no piden a los encuestados que predigan cómo responderán los demás.
"Resulta que la predicción de los votos de otros es más importante que los votos reales, ", Dijo Hosseini." Esto es muy crucial porque postula que preguntar lo que piensas sobre la opinión de otras personas es una pregunta más crítica que pedir su propia opinión ".
Para probar su modelo, Hosseini y su equipo hicieron preguntas a 720 trabajadores de colaboración colectiva sobre geografía, películas y obras de arte para elegir, por ejemplo, qué película de una selección de cuatro tiene la mayor recaudación, Ingresos de taquilla de todos los tiempos. Los investigadores utilizaron seis formatos diferentes para obtener respuestas de los participantes, como seleccionar la respuesta principal de una lista de cuatro opciones o clasificar esas cuatro opciones en orden. A algunos participantes también se les pidió predecir qué respuesta principal elegirían otros o cómo clasificarían otros su orden.
"Nuestros métodos y hallazgos algorítmicos pueden tener un impacto significativo en cómo vemos y manejamos las elecciones, ya sea a nivel nacional o local, "dijo Hosseini." Más importante aún, nuestra técnica muestra que podemos predecir una clasificación de verdad del terreno con alta precisión sin la necesidad de una recopilación masiva de datos ".
Adicionalmente, él dijo, el método podría aplicarse en áreas fuera de la previsión de los resultados objetivos de eventos como elecciones políticas y juegos deportivos.
"Asombrosamente, esta técnica funciona incluso para predecir la clasificación de precios de pinturas abstractas, que normalmente es más difícil de especular por la multitud, "añadió.
Presentaron su trabajo "La votación sorprendentemente popular recupera las clasificaciones, ¡Sorprendentemente! "Esta semana en la Conferencia Internacional Conjunta sobre Inteligencia Artificial (IJCAI-21), se llevó a cabo virtualmente del 19 al 26 de agosto. El trabajo fue parcialmente financiado por la National Science Foundation.
