Receita e tempo: o retorno das ações do marketing nunca é imediato
E eis aqui como resolvemos este problema aqui na Quero Educação
Marketing digital é integral à forma como as pessoas fazem negócios. Digo, marketing sempre foi crucial para os negócios, mas a força do marketing digital é sem precedentes atualmente. Rios de dinheiro são gastos a todo momento na tentadora proposta de se chegar a clientes que nunca poderiam ser encontrados de outra maneira. O raciocínio é simples: quanto mais dinheiro investido, mais pessoas alcançadas, algumas das quais virão a se tornar clientes. Quanto mais dinheiro sai, mais dinheiro entra.
Ah, se marketing digital fosse tão simples quanto comprar o sucesso da empresa! A realidade é bem mais dura, no entanto. Em qualquer lugar na internet, o próximo clique comprado é sempre mais caro que o anterior. Errar para cima significa gastar talvez o dobro de dinheiro por um mísero aumento de poucos por cento de receita.
Obviamente, essa não é uma estratégia razoável para qualquer empresa com contas a pagar no final do mês. É terrivelmente importante para as empresas entender como investir em marketing digital com parcimônia, sem serem iludidas tanto pelo hype quanto pelas promessas açucaradas de exclusividade e de exposição fácil dos canais de marketing e das agências. E entender como investir passa primariamente por entender o valor monetário do público que entra no site da empresa.
Uma questão de tempo
Logo quando eu cheguei aqui na empresa, havia um problema com medição de retorno: nossos clientes. Eles tinham o hábito de passarem por várias campanhas de marketing e de não comprarem imediatamente. Para não sair do prejuízo, nós investíamos de maneira conservadora. Então, chegava no mês seguinte e as pessoas finalmente compravam, levando o retorno às alturas.
Ao leigo, isso poderia ter parecido uma boa notícia: mais dinheiro na conta. Quem não gosta de dinheiro? No entanto, isso significa oportunidade perdida: podíamos ter sido mais agressivos na compra e conseguido alguns clientes extras. A conta, que de início fechava, sempre parava de bater depois de algumas semanas.
Esse fenômeno já era bem conhecido desde quando eu entrei na empresa. Creio que o mercado já está bem ciente dele; a receita futura é um dos problemas mais fundamentais do marketing. Inclusive, existem algumas estratégias usadas para resolver o problema:
(a) se livrar da causa do “problema”, ou seja, dos clientes.
Raramente usada, dado o impacto sobre a receita.
(b) a estratégia da avestruz: se livrar do problema dizendo que ele não existe (ou não importa).
Dependendo do seu modelo de negócio, isso pode ser razoável. Tudo depende do tempo de compra. No nosso caso, isso é inaceitável: educação tem um tempo de compra gigantesco. Os números não mentem: a cauda do nosso tempo de compra tem um expoente de Pareto próximo de 2, exatamente no limiar em que o desvio-padrão da distribuição explode para o infinito.
c) usar o modelo de atribuição de último-impacto (“last-click”).
Varreríamos todo o problema para debaixo do tapete, já que não demora muito para as pessoas comprarem depois do último clique. Agora, todas as suas campanhas de aquisição de novos usuários são um lixo porque você disse que sim. Essa é uma posição um tanto arriscada para qualquer empresa.
d) encarar o monstro de frente.
Foi isso que fizemos.
Dados em mãos, encarando o monstro
Graças a um bom trabalho de engenharia de dados, eu tinha à mão os diagramas de corte de cada uma das nossas campanhas de marketing já montados. Esses diagramas são bidimensionais e dão a receita gerada para cada dia de veiculação da campanha e para cada possível dia em que um cliente resolvesse comprar.
O que me interessava era cada “tira” desse diagrama correspondendo a uma data de veiculação fixa. Para cada tira, eu tinha um série temporal de receita em relação ao tempo de compra dos usuários. Como a maioria dos clientes até têm uma certa pressa para comprar, a maior parte do dinheiro cai logo nos primeiros dias.
Depois, cada tira vai dando cada vez menos e menos dinheiro, até não cair mais nada, um semestre depois. Sim, um semestre. Ainda pode haver alguma movimentação futura, mas acho melhor pararmos por aqui.
Mais enrolado em tiras que uma múmia, eu tinha uma tarefa mais bem definida pela minha frente. Eu deveria encontrar um modelo estatístico que, dados os valores de uma tira incompleta, deveria descobrir quanto dinheiro a tira inteira daria.
Na prática, todas as tiras são incompletas: considere uma campanha veiculada na semana passada. Nós só conseguimos ver os primeiros sete dias de receita daquela campanha, mesmo que no futuro ainda venha a aparecer mais dinheiro. Por outro lado, o comportamento desses primeiros dias têm muito a dizer sobre como aquela tira vai se comportar no futuro. E eu tinha milhares de exemplos de como inúmeras tiras já tinham se comportado no passado.
Análise de múmias
Era hora de um pouco de aprendizado não-supervisionado. Se eu conseguisse entender os diferentes padrões de comportamento de tiras, prever receita futura seria possível.
Para o meu primeiro modelo, eu escolhi usar uma variante de uma técnica extremamente popular: análise de componente principal (ACP). A minha variante, análise de componente principal probabilística tinha a virtude de me dar um modelo estatístico de verdade, sobre o qual eu poderia realizar inferências depois.
Para quem tem medo de espaços vetoriais e de cálculo matricial: a ideia de ACP é encontrar as “direções” de máxima variação dos dados. Se, por exemplo, eu passasse um ornitorrinco pelo ACP (pobre bichinho!) e quisesse as duas componentes principais, eu teria uma primeira passando do bico até o final da cauda (onde a maior parte do ornitorrinco está) e outra, paralela à patinhas, onde ainda tem um pouco de ornitorrinco.
Extrapole isso para 180 dimensões, a dimensionalidade dos meus dados, e você terá uma ideia do que eu estou fazendo com as tiras: cada tira vai corresponder a um ponto de um ornitorrinco de 180 dimensões.
A graça do ACP probabilístico é que essas direções vão corresponder a fatores completamente descorrelacionados estatisticamente, o que facilita grandemente as contas (e a intuição humana). Além disso, ele permite que um conjuntos de dados com dimensionalidade gigantesca possa ser expresso por um conjunto de dados de dimensionalidade bem menor, com o mínimo de perdas.
Com isso, matamos dois coelhos com uma cajadada só (nenhum animal foi maltratado na produção deste post, eu juro!). Simplificamos ainda mais as contas e evitamos overfit, o terror dos cientistas de dados, por gerar um modelo mais simples, com menos parâmetros. De posse do modelo gerado pelo ACP, eu estava pronto para realizar inferência sobre os dados — ou quase.
Incompletude de tiras: como lidar?
Havia ainda um problema: o modelo de ACP me dava uma boa descrição de como a tira completa se comportava. Como fazer a transição para uma tira incompleta? Felizmente, como o modelo de ACP é linear, eu podia facilmente adaptar as fórmulas para usar uma outra técnica favorita da indústria: filtragem de Kálmán.
Curiosamente, esse foi um algoritmo usado primeiramente no programa Apollo da NASA para guiar o homem até a lua. Hoje em dia, você muito provavelmente usa talvez uma versão mais refinada para não se perder do seu Uber. É claro, esse algoritmo faz mais do que guiar pessoas até outros lugares. Ele serve, de maneira mais geral, para refinar previsões de um estado oculto (sua posição no GPS, retorno futuro de uma campanha de marketing) dadas observações que têm a ver com esse estado (medições imprecisas do sensor de GPS, comportamento aleatório de clientes). Não vou entrar aqui na matemática, mas a reescrita do modelo de ACP é simples e até surpreendentemente elegante.
O modelo criado funciona bem já há anos aqui na Quero Educação, com apenas uma eventual manutenção para retreinar o modelo com dados frescos. Ele foi uma peça instrumental para melhorar nossa assertividade em investimento em mídias pagas. Só o fato de ter uma boa estimativa sem precisar esperar muito até os dados de campanha estabilizarem já poupou vários cabelos brancos ao time e nos deu mais qualidade de vida. Nós conseguimos barganhar com o futuro com uma visão melhor do que realmente estamos ganhando daqui a algumas semanas por gastar mais dinheiro hoje.
É claro que nosso pequeno modelo tem suas falhas também. A mais importante delas é que ele não leva em conta a correlação temporal entre campanhas de dias próximos, isto é, o fato de o retorno total da campanha veiculada ontem terá um retorno parecido (exceto por uma fator sazonal) com o retorno da mesma campanha veiculada anteontem. Porque o modelo ignora isso, ele não é próprio para prever receita ao longo do tempo de impacto, uma parte integral do gerenciamento automático de campanhas.
Além disso, ele é um modelo linear e gaussiano e como tal é meio ruim em prever as campanhas de cauda. Para resolver esses problemas, nós criamos um segundo modelo, bem diferente, o Goddard, nosso cachorrinho robô que dá lances automáticos com lucro no Google Ads, mas essa é uma história para outro post. Para lugares onde a razão humana precisa apenas de um bom número para tomar decisões razoáveis, nosso modelo de retorno linear ainda brilha.
Back to the future
Mesmo que você trabalhe em um e-commerce (onde o tempo de compra é curto) com o modelo de último impacto (o padrão do Google), um modelo desses pode vir a ser útil para você. Talvez você esteja usando último impacto apenas para mitigar o problema da receita atrasada.
Agora, você pode tomar uma escolha mais livre do modelo de atribuição. Talvez você sinta que as pessoas comprem rápido, mas e aquela cauda? O padrão do Google ainda são 90 dias. Nosso tempo de compra é uma distribuição de Pareto bem grossa.
Você já viu como a cauda do tempo de compra dos seus clientes funciona? Talvez você se surpreenda como eu me surpreendi. Por fim, você deve ter receita recorrente. Para nós, na Quero Educação, isso é uma descoberta nova, mas não vejo porque a mesma ideia não possa ser aplicada para a previsão de lifetime value (LTV). Afinal de contas, a barganha com o futuro (e com o desconhecido) é o que está no cerne do marketing. Ela é uma parte integral da experiência humana.
“(…) the idea that you can bargain with the future is the major idea of humankind”
(Peterson, J. B.)
Quer trabalhar no nosso time de Growth da Quero? Estamos com vagas abertas.
