Un estudio sobre los tipos de errores que cometen los humanos al evaluar imágenes puede habilitar algoritmos informáticos que nos ayuden a tomar mejores decisiones sobre la información visual, como al leer una radiografía o moderar contenido en línea.

Investigadores de Cornell e instituciones asociadas analizaron más de 16 millones de predicciones humanas sobre si un vecindario votó por Joe Biden o Donald Trump en las elecciones presidenciales de 2020 con base en una sola imagen de Google Street View. Descubrieron que los humanos como grupo se desempeñaron bien en la tarea, pero un algoritmo de computadora fue mejor para distinguir entre el país de Trump y el de Biden.

El estudio también clasificó formas comunes en las que las personas se equivocan e identificó objetos, como camionetas y banderas estadounidenses, que desviaron a las personas.

"Estamos tratando de entender, dónde un algoritmo tiene una predicción más efectiva que un humano, ¿podemos usar eso para ayudar al humano o hacer un mejor sistema híbrido humano-máquina que le brinde lo mejor de ambos mundos?" dijo el primer autor J.D. Zamfirescu-Pereira, estudiante graduado de la Universidad de California en Berkeley.

Presentó el trabajo, titulado "Trucks Don't Mean Trump:Diagnosing Human Error in Image Analysis", en la Conferencia sobre equidad, responsabilidad y transparencia de la Asociación de Maquinaria de Computación (ACM) de 2022 (HECHO).

Recientemente, los investigadores han prestado mucha atención al problema del sesgo algorítmico, que es cuando los algoritmos cometen errores que perjudican sistemáticamente a las mujeres, las minorías raciales y otras poblaciones históricamente marginadas.

"Los algoritmos pueden fallar en cualquiera de una miríada de formas y eso es muy importante", dijo la autora principal Emma Pierson, profesora asistente de informática en el Instituto Jacobs Technion-Cornell en Cornell Tech y el Technion con el Cornell Ann S. Bowers Facultad de Computación y Ciencias de la Información. "Pero los humanos son sesgados y propensos a errores, y los algoritmos pueden proporcionar diagnósticos muy útiles sobre cómo las personas cometen errores".

Los investigadores utilizaron datos anónimos de un cuestionario interactivo del New York Times que mostraba a los lectores instantáneas de 10.000 lugares de todo el país y les pedían que adivinaran cómo votaba el vecindario. Entrenaron un algoritmo de aprendizaje automático para hacer la misma predicción dándole un subconjunto de imágenes de Google Street View y proporcionándole resultados de votación del mundo real. Luego compararon el rendimiento del algoritmo en las imágenes restantes con el de los lectores.

En general, el algoritmo de aprendizaje automático predijo la respuesta correcta aproximadamente el 74 % de las veces. Cuando se promediaron juntos para revelar "la sabiduría de la multitud", los humanos acertaron el 71 % de las veces, pero los humanos individuales obtuvieron solo alrededor del 63 %.

La gente a menudo elegía incorrectamente a Trump cuando la vista de la calle mostraba camionetas o cielos abiertos. En un artículo del New York Times, los participantes notaron que las banderas estadounidenses también los hacían más propensos a predecir Trump, a pesar de que los vecindarios con banderas estaban divididos equitativamente entre los candidatos.

Los investigadores clasificaron los errores humanos como resultado del sesgo, la varianza o el ruido, tres categorías comúnmente utilizadas para evaluar los errores de los algoritmos de aprendizaje automático. El sesgo representa errores en la sabiduría de la multitud, por ejemplo, asociar siempre las camionetas con Trump. La varianza abarca los juicios erróneos individuales, cuando una persona hace una mala decisión, aunque la multitud tenía razón, en promedio. El ruido es cuando la imagen no brinda información útil, como una casa con un cartel de Trump en un vecindario donde principalmente se vota a Biden.

Ser capaz de dividir los errores humanos en categorías puede ayudar a mejorar la toma de decisiones humanas. Piense en los radiólogos que leen radiografías para diagnosticar una enfermedad, por ejemplo. Si hay muchos errores debido al sesgo, es posible que los médicos necesiten una nueva capacitación. Si, en promedio, el diagnóstico es exitoso pero hay variaciones entre los radiólogos, entonces podría estar justificada una segunda opinión. Y si hay mucho ruido engañoso en las radiografías, entonces puede ser necesaria una prueba de diagnóstico diferente.

En última instancia, este trabajo puede conducir a una mejor comprensión de cómo combinar la toma de decisiones de humanos y máquinas para sistemas humanos en el circuito, donde los humanos aportan información a procesos que de otro modo estarían automatizados.

"Quieres estudiar el rendimiento de todo el sistema en conjunto:los humanos más el algoritmo, porque pueden interactuar de formas inesperadas", dijo Pierson. + Explora más

Confiar en los consejos algorítmicos de las computadoras puede cegarnos ante los errores, dice un estudio