Investigadores de la Universidad Northwestern y Facebook publicaron en marzo una nueva investigación en la revista INFORMS Ciencias del marketing que arroja luz sobre si los enfoques comunes para la medición de la publicidad en línea son tan confiables y precisos como el "estándar de oro" de gran escala, experimentos aleatorios.

El estudio se publicará en la edición de marzo de la revista INFORMS Ciencias del marketing se titula "Una comparación de enfoques para la medición de la publicidad:evidencia de grandes experimentos de campo en Facebook, "y está escrito por Brett Gordon de la Northwestern University; Florian Zetttelmeyer de la Northwestern University y la Oficina Nacional de Investigación Económica; y Neha Bhargava y Dan Chapsky de Facebook.

"Nuestros hallazgos sugieren que los enfoques de observación de uso común que se basan en datos que generalmente están disponibles para los anunciantes a menudo no logran medir con precisión el verdadero efecto de la publicidad. "dijo Brett Gordon.

Los enfoques observacionales son aquellos que abarcan una amplia clase de modelos estadísticos que se basan en los datos "tal como están, "generado sin manipulación explícita a través de un experimento aleatorio.

"Encontramos una diferencia significativa en la efectividad de los anuncios obtenida de los ensayos controlados aleatorios y los métodos de observación que los anunciantes utilizan con frecuencia para evaluar sus campañas, "agregó Zettelmeyer." Generalmente, los métodos actuales y más comunes sobreestiman la efectividad de los anuncios en relación con lo que encontramos en nuestras pruebas aleatorias. Aunque en algunos casos, subestiman significativamente la eficacia ".

Medir la eficacia de la publicidad sigue siendo un problema importante para muchas empresas. Una pregunta clave es si una campaña publicitaria produjo resultados incrementales:¿compraron más consumidores porque vieron un anuncio? ¿O muchos de esos consumidores habrían comprado incluso sin el anuncio? Obtener una medida precisa de los resultados incrementales ("conversiones") ayuda al anunciante a calcular el retorno de la inversión (ROI) de la campaña.

"Plataformas digitales que llevan publicidad, como Facebook, han creado medios integrales para evaluar la eficacia de los anuncios, utilizando datos granulares que vinculan la exposición de los anuncios, clics, visita a la página, compras en línea e incluso compras fuera de línea, "dijo Gordon." Aún así, incluso con estos datos, medir el efecto causal de la publicidad requiere una plataforma de experimentación adecuada ".

Los autores del estudio utilizaron datos de 15 experimentos publicitarios de EE. UU. En Facebook que comprenden 500 millones de observaciones de experimentos de usuarios y 1.600 millones de impresiones de anuncios.

La plataforma de experimentación de "aumento de conversión" de Facebook ofrece a los anunciantes la capacidad de ejecutar experimentos controlados aleatorios para medir el efecto causal de una campaña publicitaria en los resultados del consumidor.

Estos experimentos asignan usuarios al azar a un grupo de control, que nunca están expuestos al anuncio, y a un grupo de prueba, que son elegibles para ver el anuncio. La comparación de los resultados entre los grupos proporciona el efecto causal del anuncio porque la aleatorización garantiza que los dos grupos sean, de media, equivalente excepto para exposiciones publicitarias en el grupo de prueba. Los resultados experimentales de cada campaña publicitaria sirvieron como base para evaluar métodos de observación comunes.

Los métodos de observación comparan los resultados entre los usuarios que estuvieron expuestos al anuncio y los que no lo estuvieron. Estos dos grupos de usuarios tienden a diferir sistemáticamente de muchas formas, como la edad y el sexo. Estas diferencias en las características pueden ser observables porque el anunciante (o su plataforma publicitaria) a menudo tiene datos de acceso sobre estas y otras características. p.ej., además de conocer el sexo y la edad de un usuario en línea, es posible observar el tipo de dispositivo que se está utilizando, la ubicación del usuario, cuánto tiempo ha pasado desde la última vez que el usuario lo visitó, etc. Sin embargo, la parte complicada es que los grupos expuestos y no expuestos también pueden diferir en formas que son muy difíciles de medir, como la afinidad subyacente de los usuarios por la marca. Decir que el anuncio "causó" un efecto requiere que la investigación pueda dar cuenta de las diferencias observadas y no observadas entre los dos grupos. Los métodos de observación utilizan datos sobre las características de los usuarios que se observan en un intento de ajustar las diferencias observables y no observables.

"Nos propusimos determinar si, como se cree comúnmente, Los métodos de observación actuales que utilizan datos completos a nivel individual son "suficientemente buenos" para la medición de anuncios, ", dijo Zettelmeyer." Lo que encontramos fue que incluso los datos bastante completos resultan inadecuados para producir estimaciones confiables de los efectos publicitarios ".

"En principio, creemos que el uso de ensayos controlados aleatorios a gran escala para evaluar la eficacia de la publicidad debería ser el método preferido por los anunciantes siempre que sea posible ".