¿Qué confianza debe tener en las encuestas electorales? No tan confiado como afirman los encuestadores, según un nuevo estudio de Berkeley Haas.

La mayoría de las encuestas electorales informan un nivel de confianza del 95%. Sin embargo, un análisis de 1, 400 encuestas de 11 ciclos electorales encontraron que el resultado cae dentro del resultado de la encuesta solo el 60% de las veces. Y eso es para las encuestas solo una semana antes de una elección:la precisión cae aún más.

"Si tienes confianza, basado en encuestas, sobre cómo saldrán las elecciones de 2020, piensa otra vez, "dijo el profesor Don Moore de Berkeley Haas, quien realizó el análisis con el ex alumno Aditya Kotak, BA 20. "Hay muchas razones por las que el resultado real podría ser diferente al de la encuesta, y la forma en que los encuestadores calculan los intervalos de confianza no tiene en cuenta esas cuestiones ".

Mucha gente se sorprendió cuando el presidente Donald Trump venció a Hillary Clinton en 2016 después de estar detrás de ella en las encuestas. y especuló que las encuestas se están volviendo menos precisas o que la elección fue tan inusual que las desconcertó. Pero Moore y Kotak no encontraron evidencia de una disminución de la precisión en su muestra de encuestas desde 2008; más bien, encontraron afirmaciones consistentemente excesivamente confiadas por parte de los encuestadores.

"Quizás sea necesario ajustar la forma en que interpretamos las encuestas en su conjunto, para dar cuenta de la incertidumbre que los acompaña, "Dijo Kotak. De hecho, tener un 95% de confianza, las encuestas tendrían que duplicar los márgenes de error que informan incluso una semana después del día de las elecciones, concluyó el análisis.

Como estudiante de estadística e informática en un aprendizaje de investigación de pregrado en el Laboratorio de precisión de Moore durante las primarias presidenciales de 2019, Kotak sintió curiosidad por los intervalos de confianza incluidos en las encuestas. Observó que el margen de error de las encuestas se mencionaba con frecuencia como nota a pie de página en artículos de noticias y metodologías de previsión electoral. y se preguntó si eran tan precisos como implicaban sus márgenes de error.

Kotak le llevó la idea a Moore, que estudia el exceso de confianza tanto desde una perspectiva psicológica como estadística. Gran parte de la investigación sobre la precisión de las encuestas considera solo si la encuesta llamó correctamente al ganador. Para medir la confianza de la encuesta, decidieron echar un vistazo retroactivo a las encuestas en función de cuánto tiempo antes de las elecciones se llevaran a cabo, y no consideres si un candidato ganó o perdió, pero si la participación real de los votos cayó dentro del margen de error que había informado la encuesta. Por ejemplo, si una encuesta muestra que el 54% de los votantes favorece a un candidato, y tenía un margen de error del 5%, Sería exacto si el candidato obtuviera del 49% al 59% de los votos, pero sería un error si el candidato ganara con más del 59% de los votos (o menos del 49%).

Moore y Kotak obtuvieron 1, 400 encuestas realizadas antes de las elecciones generales de 2008, 2012, y 2016, así como las primarias presidenciales demócratas en Iowa y New Hampshire de 2008 y 2016 y las primarias republicanas en los mismos estados de 2012 y 2016. Debido a que algunas encuestas preguntaban sobre múltiples candidatos, la muestra incluyó resultados de más de 5, 000 encuestas sobre cómo las personas dijeron que votarían por candidatos en particular, así como los márgenes de error que lo acompañan.

Analizando las encuestas en lotes de siete días, encontraron una disminución constante en la precisión cuanto más lejos de una elección se realizaba la encuesta, y solo alrededor de la mitad demostró ser precisa 10 semanas antes de una elección. Esto tiene sentido, ya que ocurren eventos imprevistos, como el ex director del FBI James Comey anunciando una investigación sobre los correos electrónicos de Clinton solo una semana antes de las elecciones presidenciales de 2016. Sin embargo, la mayoría de las encuestas incluso semanas fuera, informó el intervalo de confianza estándar de la industria del 95%.

Error de muestreo e intervalos de confianza

El intervalo de confianza cuantifica qué tan seguro puede estar uno de que la muestra de personas encuestadas refleja la población total de votantes. Un intervalo de confianza del 95%, por ejemplo, significa que si se siguió el mismo procedimiento de muestreo 100 veces, 95 de esas muestras contendrían la verdadera población de votantes. Ahí yace el problema, sin embargo.

El nivel de confianza tiene en cuenta "error de muestreo, "un término estadístico que cuantifica la probabilidad de que, por pura casualidad, la muestra varía de la población más grande de votantes de la que se extrajo la muestra. Por ejemplo, no encuestar a un grupo suficientemente grande de votantes aumentaría el error de muestreo. Pero el error de muestreo no incluye ningún otro tipo de error, como, para empezar, encuestar al grupo equivocado de personas.

"La gente suele olvidar que los márgenes de error de las encuestas solo capturan las fuentes estadísticas de error, "dijo David Broockman, profesor asociado en el Departamento de Ciencias Políticas de Berkeley. "Este análisis muestra cuán grandes son en la práctica las restantes fuentes de error no estadísticas".

Añadió el profesor Gabriel Lenz, también de Berkeley Political Science, "Este es un análisis fascinante, y el trabajo futuro podría resolver las fuentes de la inexactitud, como encuestadores de baja calidad, dificultad para evaluar a los posibles votantes, cambios de última hora en las intenciones de los votantes, y más."

Es fácil tener en cuenta el error de muestreo en las estadísticas de encuestas, pero es mucho más difícil dar cuenta de todas las demás incógnitas, Dijo Moore. Es una lección que va mucho más allá de las encuestas.

"Debido a que basamos nuestras creencias en muestras de información imperfectas y sesgadas, a veces nos equivocaremos por razones que no anticipamos, " él dijo.