Comitê de testes: levando a ditadura do teste a sério

Se eu fizesse uma pesquisa no escritório questionando cada um dos colegas se já fizeram algum teste A/B, a maioria esmagadora diria que sim.

A verdade é que todos nós, em algum momento da vida, já testamos dois caminhos diferentes. Um exemplo clássico é experimentar duas formas distintas para chegar até o trabalho: será que é mais rápido ir pela Marginal ou pela Bandeirantes?

Na Empiricus levamos a sério a ditadura do teste. Aqui é o dado que manda. Logo, existe a necessidade de conseguir executar testes relevantes, que sejam escaláveis e bem mensurados.

Em meados de abril de 2020, resolvemos criar o Comitê de Testes justamente para conseguir atender essa necessidade.

A missão é propor, operacionalizar e mensurar os testes, além de claro, garantir que as hipóteses validadas sejam aplicadas.

Reunimos pessoas das mais diversas áreas da empresa: BI, TI, Qualidade, Marketing, Copy. A união das áreas faz com que todos estejam alinhados sobre os testes que estão acontecendo e ajudem não só a operacionalizar, mas também levar os resultados e a cultura dos testes a frente.

Não se engane. Dá trabalho. Exige muita organização e comunicação entre os times; muito trabalho de criação e agilidade para conseguir testar rapidamente as hipóteses que surgem o tempo todo.

Claro que tudo isso não para de pé sem apresentar resultados. Felizmente, algumas melhorias relevantes têm surgido através dos testes sistemáticos em várias etapas dos funis. E estamos só começando.

Para tudo isso funcionar e colhermos resultados, precisamos usar algumas metodologias que nos guiam e garantem que o teste está sendo bem executado.

Testes estão sempre atrelados a um custo de oportunidade, portanto, é muito importante seguir algumas regras para garantir que teremos alguma conclusão ao final do processo.

Metodologias

1 — Conheça seu controle e tenha uma hipótese

É importante saber o que você quer melhorar. Geralmente a partir do seu controle, nascem as hipóteses.

Por exemplo: se eu vendo coxinhas a 5 reais, meu controle é “coxinha vendida a R$5”.

Eu poderia ter uma hipótese onde, aumentando o preço da coxinha para R$ 7, meu faturamento final aumentaria.

Eu não posso testar R$7 e R$6. Eu nunca vendi a R$6. Não sei o quão melhor ou pior é em relação ao meu controle, R$5.

O correto é testar R$5 (controle) x R$7 (hipótese) e analisar se, ao final do teste, aumentar o preço também eleva o faturamento final.

Subir o ticket médio da coxinha não necessariamente implica em faturar mais.

Aumentar o preço poderia diminuir a quantidade de coxinhas vendidas e, eventualmente, o faturamento. Tão importante quanto aplicar um bom teste é saber analisar os resultados.

2 — Repetição

Pensando no exemplo do trajeto ao trabalho. Se eu testar apenas uma vez ambos os caminhos e definir qual o melhor somente com base nesse intervalo de avaliação, corro diversos riscos, como, por exemplo:

• Tráfego estava mais intenso naquela via especificamente naquele dia
• Dei azar e parei em todos os faróis que encontrei pela frente

Quanto mais dados você tiver, mais precisa será sua análise.

Testar durante um mês também não significa que aquele resultado será o melhor sempre. Basta uma obra ou as aulas voltarem, para tudo mudar e o caminho até então pior, passar a ser o mais rápido. Portanto, os resultados não deveriam ser encarados como permanentes na maioria das vezes.

É uma boa prática criar o hábito de testar novamente as hipóteses que já foram validadas de tempos em tempos.

3 — Teste uma coisa de cada vez

Diversas vezes caímos na tentação de testar mais de uma coisa porque acreditamos que conseguimos isolar os resultados e descobrir qual foi a variável decisória. Isso é uma péssima ideia.

Exemplo prático de um teste que seria ruim:

Minha hipótese é que a conversão melhoraria se eu acrescentasse uma frase a mais na descrição do checkout.

A — Checkout controle

B — Checkout desafiante (hipótese aplicada)

Repare que, além da frase a mais na descrição da oferta, o preço também está diferente.

No final, não saberia qual foi a variável que fez com que um fosse melhor ou pior que o outro. Se queremos testar a descrição do checkout, todo o restante deveria estar igual.

4 — Analisando os resultados

Como dito mais acima, tão importante quanto conseguir operacionalizar um bom teste, é conseguir mensurar os resultados.

Antes de mais nada, você precisa garantir que os dados serão coletados.

Garanta também que seu teste terá volume suficiente antes de encerrá-lo. É muito comum, ao ver alguma discrepância entre A e B, ficar tentado a escolher um vencedor. Antes de encerrar, certifique-se que seu teste alcançou relevância estatística. Hoje em dia existem várias ferramentas que ajudam no cálculo.

Veja se as outras medidas relevantes do seu negócio também foram afetadas pelo teste. Se estou testando o preço de uma oferta na Empiricus, além do faturamento, preciso olhar a taxa de cancelamento, por exemplo. Será que aumentar meu preço também não me leva a cancelar mais?

Também esteja atento à outros insights escondidos além do resultado do teste. Muitas vezes miramos o que vimos e acertamos o que não vimos.

Discuta e divulgue os resultados.

Bom, essas são as principais metodologias que usamos no dia-a-dia.

Espero que seja de alguma valia.

Obrigado!