Marketing y Ciencia: ¿Cómo evaluar el impacto de campañas con geo experimentos?
Para poder tomar mejores decisiones de negocio comenzamos a utilizar los últimos desarrollos en el campo de la geo experimentación, validando el impacto real de nuestras acciones de marketing. La siguiente nota cuenta las razones y aprendizajes de este proceso.
Un poco de contexto
Ualá es la fintech que ofrece un ecosistema financiero a través de una app vinculada a una tarjeta internacional Mastercard gratuita.
La misión del equipo de Marketing Insights & Analytics de Ualá es potenciar a los distintos equipos del área de Marketing, entre ellos Performance, para proveer de insights que guíen la inversión en los medios publicitarios. Para hacerlo, buscamos plantear preguntas a problemas de negocio concretos y encontrar la respuesta haciendo experimentos, sobre los que trabajamos en el diseño, la lectura de resultados, sugerencia de accionables e iterar sobre los learnings.
El problema de negocio
Entre otras cosas, Ualá ejecuta campañas publicitarias de adquisición de usuarios en medios de comunicación online (ya sea en redes sociales, buscadores, etc) y offline (en TV, radio o periódicos). Al ser una app, para los medios digitales cuenta con un modelo de atribución que decide cuántas conversiones de Ualá deberían ser asignadas a cada canal publicitario. Para hacerlo, aplica una regla para asociar conversiones, usualmente basada en el último clic que hizo un usuario en un aviso. Por lo tanto, si el usuario vio muchos avisos de un medio digital y luego cliqueó en el anuncio de otro, este último se llevará la conversión. Al agregar el total de inversión y dividirlo por la cantidad de conversiones atribuidas se obtiene un costo por conversión, que es la métrica por la cual Ualá decide qué tan rentable es cada medio.
Con este contexto, nuestra hipótesis es que estos modelos si bien funcionan como un proxy necesario para poder optimizar esa inversión dentro de cada y entre medios, hay oportunidades de mejora en la medición de patrones de comportamiento de la realidad que no logran captarse del todo. Con el fin de entender el factor causal que tuvo el aviso de un canal a la hora de influenciar a las personas hacia la conversión, decidimos corroborar nuestros valores atribuidos con un experimento geográfico. Comenzamos por hacerlo sobre el medio que tuvo el mayor porcentaje de conversiones atribuidas en Argentina.
¿Por qué un experimento geográfico y no uno a nivel usuario?
Los experimentos randomizados a nivel usuario son muy poderosos. Si el grupo de tratamiento y control son comparables entre sí, permiten hacer inferencia estadística detectando efectos muy pequeños. Estos deberían ser el ideal a seguir, siempre y cuando el medio tenga esa solución disponible. No todos los medios tienen la capacidad o permiten correr esta clase de experimentos.
La geo experimentación puede ser una herramienta interesante para explorar si no se tiene la información a nivel usuario. Recientemente, Meta (ex Facebook) lanzó su nueva solución open source llamada GeoLift, que busca aplicar los métodos más avanzados de la estadística contemporánea en este frente. GeoLift es una solución que sirve para medir el efecto incremental de la publicidad, a nivel geográfico, de una forma práctica y reproducible. Mediante simulaciones y el uso de controles sintéticos aumentados, determina cuáles son los setups óptimos, minimizando el sesgo del estimador. A su vez, el módulo de inferencia permite observar los resultados obtenidos y tomar decisiones en base a ellos. Por eso es una solución end-to-end: va desde el diseño hasta el análisis de resultados.
Como buscábamos medir el efecto de la pauta en nuestro medio más importante sobre campañas de adquisición de nuevos usuarios (y no sabíamos quienes eran), optamos por correr un GeoLift.
El diseño del GeoLift
Diseñar el experimento es la parte más importante del proceso. Necesitamos producir un test que garantice que vamos a poder extraer la mayor información posible. Al mismo tiempo, queremos tratar de:
- Tener la capacidad más grande de poder detectar un efecto sin incurrir en sesgos;
- Mantener el ojo puesto en la pregunta de negocio que buscamos contestar;
- Minimizar el costo de oportunidad de apagar la pauta en nuestro negocio.
Relacionado al último objetivo, el primer paso que dimos fue definir que realizaríamos un GeoLift negativo. En lugar de correr pauta solo en un grupo de tratamiento, decidimos mostrar avisos solo en un grupo de control. Esta es una buena forma de reducir el costo por no mostrar avisos, debido a que los experimentos geográficos suelen tener grupos de control mayores.
A la izquierda podemos ver el diseño final con el que decidimos correr el estudio de GeoLift. Las provincias en rojo representan el grupo de tratamiento y las que están en azul el grupo de control. Este fue el resultado final de correr múltiples simulaciones con el paquete de GeoLift, evaluando distintas alternativas.
El resultado de dichas iteraciones mostró que el diseño seleccionado era el óptimo dentro de las combinaciones entre las que buscamos. De hecho, el análisis de diseño experimental arrojó métricas muy buenas:
- Vimos una curva de poder centrada en cero, con colas similares para impactos positivos y negativos.
- También observamos que nunca se detectaba un efecto cuando este no existía, para ninguna de las simulaciones que se analizaron.
- Además, nos aseguramos de que el efecto detectado cuando el efecto real era cero fuera menor al 0.5%.
- Por último y no menos importante, encontramos un efecto mínimo detectable del -4%.
Dado que lo atribuido para el medio que buscábamos medir mostraba un porcentaje de conversiones muy superior al 4%, estábamos confiados en que este era un buen diseño para nuestro experimento geográfico en Argentina.
¿Cuáles fueron los resultados?
Una vez finalizado el estudio, usamos el paquete de GeoLift para medir el efecto detectado durante el período del test. Obtuvimos este gráfico que muestra la cantidad de conversiones incrementales (diferencia entre Tratamiento y grupo de Control Sintético) por día.
Es interesante remarcar cómo la curva incremental se estabiliza cerca del cero para el período previo al experimento y luego baja considerablemente una vez que comenzó el estudio (marcado por la línea punteada). El intervalo de confianza al 90% de la curva de incrementalidad muestra que tampoco toca el cero. De más está decir que tenemos una confianza superior al 95% en que hubo un efecto significativo por debajo del cero. Dicho de otra manera, gracias al GeoLift pudimos diseñar un experimento de tal forma de poder inferir el efecto que tuvo la pauta publicitaria de este medio, sobre el grupo de tratamiento.
Hecha la inferencia, comparamos contra lo atribuido. Al comparar el efecto estimado contra la cantidad de conversiones que serían atribuidas habitualmente, arrojó un ratio mayor a 2 conversiones atribuidas por conversión incremental (>2x). Esto confirmó nuestra hipótesis: el desvío del modelo que usábamos era muy significativo.
Conclusión
Los resultados del experimento nos demuestran que, tal como esperábamos, el uso del medio online en cuestión nos arroja un incremento que no está del todo alineado con el modelo de atribución que utilizamos sino que se encuentra sobre-atribuido. Esto demuestra que no hay que confiar ciegamente en los resultados de estos modelos y que requieren calibración con una frecuencia, si no constante, cuando menos periódica.
Bajo esta misma metodología es posible identificar también los efectos de los medios offline cuya atribución y medición de resultados es todavía más complejo de identificar.
Con toda esta información es posible construir un modelo de Marketing Mix que nos permita identificar cual es el impacto incremental de cada uno de nuestros medios y optimizar nuestro presupuesto en base a aquellos que demuestren un mejor retorno de la inversión.
