Un equipo internacional de investigadores probó la idea de que las calificaciones en línea gratuitas son menos confiables que las que tienen algún costo para ellas. basándose en la teoría ecológica conocida como "teoría de la señalización costosa".

La teoría sugiere que si dejar una reseña tiene algún precio, ya sea en dinero, tiempo o energía, resultará en calificaciones más precisas. En ecología, La teoría de la señalización costosa sostiene que las pantallas que "cuestan" más, como colas de pavo real elaboradas, o exhibiciones extenuantes de hambre por parte de los pajaritos, es más probable que reflejen la realidad. Una cola colorida denota un pavo real sano, y un pollito con la barriga llena no desperdiciará la energía para gritar pidiendo más comida.

Pero el sociólogo de Princeton Dalton Conley y sus colegas son los primeros en aplicar esta teoría a Yelp o Uber y sus sistemas de clasificación. Al probar una serie de herramientas de clasificación ponderada en el contexto de un videojuego, descubrieron que las clasificaciones de bajo esfuerzo eran menos precisas que las que cuestan unos segundos adicionales de uso. Llegaron a la conclusión de que los sitios de comercio electrónico deberían rediseñar sus interfaces para imponer costos de tiempo a los evaluadores de productos o servicios.

"En pocas palabras:hacer que la calificación de bienes o servicios sea lo más fácil posible, como intentan hacer muchos sitios de comercio electrónico, es contraproducente, "dijo Conley, Profesor de Sociología de la Universidad Henry Putnam de Princeton y miembro de la facultad en la Oficina de Investigación de la Población y el Centro para la Salud y el Bienestar, quien es el autor principal de un artículo reciente en Proceedings of the National Academies of Science. "Lo mismo ocurre con obligar a todos a dar una calificación. Las calificaciones son más precisas en cambio cuando cuesta algo dar".

Continuó:"La intuición de Uber y otros sitios de comercio electrónico probablemente esté equivocada. Hay una razón por la que las plumas de pavo real son tan costosas de producir:su costo asegura una señal honesta de aptitud reproductiva".

O, como lo expresó el coautor Lucas Parra:"Las calificaciones en línea no tienen valor, ¿no es así? ¡A menos que incurran en algún costo para los evaluadores! ”Parra es el profesor Harold Shames de Ingeniería Biomédica en el City College de Nueva York.

Conley, Parra y su equipo de coautores argumentaron que incluso si hay poca motivación para hacer trampa con las calificaciones en línea, no hay un incentivo obvio para dejar una reseña de una estrella sobre un lugar que nos gustó. o una reseña de cinco estrellas de un vertedero:hay, a lo mejor, poco beneficio directo para los evaluadores que proporcionan evaluaciones precisas, lo que sugiere que es probable que las personas proporcionen información de baja calidad.

Decidieron poner a prueba la teoría imponiendo un "costo" para proporcionar información (y costos más altos en las calificaciones extremas) para ver si podían eliminar o reducir el número de personas deshonestas, calificaciones de una y cinco estrellas con un sesgo promedio.

Entonces crearon algunos videojuegos y reclutó jugadores de Mechanical Turk de Amazon.

En un juego típico, los jugadores maniobraron un coche para recoger monedas, sabiendo que recibirían un centavo de pago en la vida real por cada moneda digital recolectada. Las carreteras estaban separadas por lagos que solo podían atravesarse con transbordadores. Los dos primeros viajes en ferry se utilizaron como equipo de entrenamiento, con retrasos de 20 segundos y luego 4 segundos, establecer una línea de base común para las evaluaciones del desempeño de los transbordadores. Después, el juego varió aleatoriamente los retrasos y velocidades de los servicios de ferry. Los ferries más rápidos llegaron de inmediato y cruzaron el lago en 2 segundos. mientras que los ferries más lentos se retrasaron en la llegada y se movieron lentamente, requiriendo un total de 40 segundos para cruzar un lago.

Al final de cada viaje en ferry, los jugadores tenían que calificar el servicio de ferry en una escala de 0 a 100 antes de poder seguir adelante. Esas calificaciones se convirtieron en datos para el equipo de investigación. La herramienta de clasificación del juego utilizaba una barra deslizante ponderada con "fricción" digital para cada punto en el que un jugador se alejaba de una clasificación media determinada previamente. En otras palabras, cuanto más extrema sea tu puntuación, cuantos más segundos pasas empujando la barra hacia arriba o hacia abajo.

El juego total se limitó a 15 minutos, por lo que los jugadores se sintieron motivados a enviar sus clasificaciones lo más rápido posible para poder volver a cobrar sus recompensas monetarias. Los jugadores viajaron un promedio de 17 transbordadores por juego, permitiendo a los investigadores medir las correlaciones entre sus calificaciones subjetivas y el servicio objetivo de los ferries (medido como el tiempo total para tomar el ferry), tanto dentro como entre sujetos.

Descubrieron que su barra deslizante ponderada conducía a estimaciones de calidad de la multitud más confiables que una barra de clic no ponderada. donde todas las puntuaciones de 0 a 100 se podían dar con un clic instantáneo en la pantalla, donde todas las puntuaciones eran igualmente "baratas".

Sus resultados tienen implicaciones para las omnipresentes solicitudes de calificaciones dentro del comercio electrónico, y su enfoque puede generalizarse y probarse en una variedad de sistemas de comunicación en línea a gran escala, dijeron los investigadores.

El equipo no se había propuesto probar las calificaciones, dijo Conley. Originalmente estaban interesados ​​en el aprendizaje en línea, "pero en el transcurso de los experimentos nos dimos cuenta de que los datos de calificaciones que estábamos obteniendo ... no eran muy buenos, así que nos propusimos mejorar ese problema ".

Se sorprendieron al descubrir que reducir el costo de las calificaciones en realidad resultó contraproducente. La teoría económica clásica sugiere que minimizar el costo produciría los mejores resultados, pero sus datos muestran lo contrario.

En breve, Uber necesita ralentizar su herramienta de calificación, Dijo Conley. "Convertir el dispositivo de clasificación de un simple clic a un control deslizante, donde es difícil dar puntuaciones muy altas o bajas debido a que el control deslizante se ralentiza a medida que el usuario se aleja en cualquier dirección, produce mejores distribuciones de puntuación. Solo los calificadores altamente motivados proporcionarán puntajes extremos ".