Teste A/B: O que eu aprendi na prática

Existe uma enorme carência de bons conselhos e práticas para testes A/B em português. Parece que a maioria do que é escrito não passa de uma repetição de clichês como “melhorar em 50% a conversão trocando a cor de um botão” ou apenas uma tentativa de nos vender ebooks e pacotes de cases. Então resolvi escrever algumas dicas que eu pude constatar com a prática.

Concentre-se primeiro nas grandes mudanças

Se você está pensando em testar uma home ou landing page, comece com duas versões radicalmente diferentes.

Algumas pessoas argumentam, e com razão, que testando páginas completamente diferentes você não identificará quais os elementos estão impulsionando as conversões. Isso é verdade, mas para uma primeira fase, escolha a abordagem ou estrutura principal. Ajustes menores não vão trazer grandes mudanças se antes você não testar formatos completamente diferentes de páginas.

Melhorar a Taxa de Rejeição não melhora a conversão

A Taxa de Rejeição (Bounce Rate) é o percentual de visitantes que acessaram a página inicial do seu site e saíram sem clicar em nenhum link interno. Por exemplo: se 100 pessoas visitaram seu blog e 75 delas só leram a página principal, sua Taxa de Rejeição é de 75%.

Inúmeras vezes eu vi melhorias na Taxa de Rejeição que não resultaram em uma melhora na conversão ou, no pior dos casos, as conversões até caíram. A explicação óbvia é que o usuário foi levado para um caminho que ele não queria ou nos enganamos ao pensar que esse caminho melhoraria a conversão.

Por exemplo: adicionar um botão enorme para uma página com as palavras “Saiba Mais” induz as pessoas a clicarem nele. Mas e daí? Você poderia ter fornecido aos usuários essa informação sem um clique. Você melhorou a Taxa de Rejeição, mas não fez disso uma conversão.

Você pode induzir os usuários a clicarem adicionando mais conteúdo em subpáginas ou em abas. Mas, se o conteúdo não é tão relevante para o usuário, você está prejudicando a sua chance de conversão com essas distrações.

Outro ponto útil sobre a Taxa de Rejeição

Mesmo que as melhorias na Taxa de Rejeição resultem em melhorias na conversão, você não pode comparar estas melhorias entre si. Não são de igual para igual.

Vamos dizer que você tem um negócio on-line de venda de brinquedos para gatos. Você faz algumas alterações no design e sua Taxa de Rejeição cai de 20% para 10%. Legal, uma melhoria de 50% na Taxa de Rejeição. Quer dizer que você terá uma melhora de 50% na conversão?

Não. A Taxa de Rejeição mostra a % das pessoas que saem do seu site, não a % das que ficam. Para ser de igual para igual, você precisa pensar sobre a sua taxa de retenção (Retention Rate). O que você obteve foi uma melhoria da taxa de retenção de 80% para 90%, ou seja, sua melhoria será de 12,5%.

Entenda as estatísticas

Dizem que uma compreensão básica de economia é pior que nenhuma. Aprender sobre as implicações da oferta / demanda sem entender as nuances e os pressupostos subjacentes pode levar a uma confiança em conclusões equivocadas.

O mesmo vale para as estatísticas. Por isso é tão importante que praticantes de testes A/B entendam que estão envolvidos em um exercício que é puramente de estatística. Então algumas regras básicas:

• Quanto menor a diferença no resultado entre os seus testes, maior o número de amostras serão necessárias para tirar uma conclusão;
• A não ser que os resultados sejam esmagadoramente extremos, cada teste requer, no mínimo, 1000 (e provavelmente muito mais) visitantes únicos para tirar uma conclusão que vale a pena adotar.

O usuário precisa de tempo para se adaptar

Se o seu site já tem um bom número de usuários leais, então você precisa de um tempo de teste para poder contar com os resultados.

Como os usuários já aprenderam a interagir com o seu site do jeito que ele está, introduzir novas funcionalidades pode reduzir o desempenho e/ou induzir uma “interação por curiosidade” que não será representativa na utilização a longo prazo.

Não há uma regra de quanto tempo de teste é suficiente para chegar a uma estabilização. Talvez seja necessário manter o teste por pelo menos um mês até começar a entender e mensurar os impactos a longo prazo.

Resumo sobre testes A/B na prática

• Comece testando páginas completamente diferentes. Testes menores serão mais eficientes depois da certeza de estar trabalhando com a abordagem certa.
• Reduzir a Taxa de Rejeição é ótimo, mas não deve ser visto como a salvação de uma campanha. A Taxa de Retenção está mais ligada às conversões.
• Compreenda as nuances das estatísticas. Existem margens de erro que fazem um re-trabalho não valer a pena.