Teste A/B: saiba o que é e porque todo desenvolvedor deveria fazer!

Matheus Clemente Guimarães
Experience Valley
Published in
4 min readOct 9, 2017

Normalmente, a maioria dos desenvolvedores não faz ou nem conhece o Teste A/B. Por isso, criei esse post para explicar melhor como funciona essa estratégia e qual a sua importância.

O Teste A/B é um método de comparação de duas versões de uma página da web ou aplicativo. Ele cria duas variações da mesma página e as compara para ver qual teve o melhor resultado.

Nesses testes, é importante ressaltar que deve-se testar um elemento por vez. Dessa maneira, é possível saber qual mudança realmente está trazendo resultado. Caso contrário, fazendo várias alterações não é possível metrificar o que está performando melhor.

As páginas são mostradas aleatoriamente para os usuários e a que tiver melhor desempenho em relação às conversões é determinada como vencedora.

Variação A versus Variação B

Mas e aí, o que eu posso testar?

Você pode testar praticamente qualquer coisa na sua página: imagens, botões, texto, posição dos elementos etc. Porém, é necessário focar nos testes que realmente podem trazer algum impacto para a aplicação.

Com o teste A/B você pode:

  • Coletar dados
  • Identificar metas
  • Habilitar hipótese
  • Criar variações
  • Executar Experiência
  • Analisar resultados

Esse tipo de teste foi usado até pelo Barack Obama durante suas campanhas para a presidência do Estados Unidos, em 2008 e 2012. O objetivo era reunir pessoas para realizarem doações e trabalharem como voluntários durante a eleição.

Adicionando a foto do presidente acompanhado da esposa em um jantar, houve um aumento de 19% na conversão.

Adicionando a foto do presidente junto à sua esposa, produziu um aumento de 6,9% nas doações para participar do sorteio.

Dos experimentos, foram concluídos que as peças que continham o Obama em uma situação descontraída e/ou acompanhado da família obtiveram um melhor resultado.

Uma análise melhor dos experimentos podem ser acompanhados nos links abaixo:

A Netflix, uma das maiores empresas do mundo, também realiza diversos testes todos os dias, como chamadas, imagens e cores para os filmes e séries com o objetivo de saber o que converte mais em um determinado momento. Como é o caso de testes que são realizados em determinadas época do ano onde há frio e dias chuvosos, indicando uma mudança no comportamento dos usuários, como por exemplo, ao escolher um determinado filme para assistir.

Para otimizar o processo, NodeJS foi utilizado para criar executar vários testes de UI multivariados em escala.

Teste A/B da Netflix (divulgação: Netflix)

Seguindo a mesma ideia, a Netshoes criou um framework open-source feito em JavaScript chamado Lind, em homenagem a James Lind, que foi responsável por criar um experimento o qual identificou 12 pacientes com escorbuto (doença causada pela deficiência de vitamina C) e os separou em grupos de 2. Manteve entre eles as mesmas condições, variando apenas em aspectos da dieta.

Para utilizar o framework, é preciso criar um arquivo js que corresponderá testes dentro do diretório de desktop ou mobile do projeto.

Com quais ferramentas eu posso fazer esse tipo de teste?

Há outras ferramentas para realizar os experimentos, como é o caso do Optimizely e do Optimize, do Google.

Além da páginas e aplicativos, é possível fazer testes em títulos, botões, chamadas e corpo do e-mail.

É interessante utilizar essa estratégia para otimizar taxa de abertura e/ou taxa de cliques. Assim, melhorando a performance do seu disparo!

Atenção!

Um fato comum no Teste A/B é que as pessoas supõem que uma certa opção irá ganhar levando em consideração que está “mais bonito”, porém muitas vezes ao final do experimento ocorre o contrário, o que deixa claro que não existe fórmula mágica nem achismo dentro dessa técnica.

Embora muitos desenvolvedores achem que esse tipo de teste são para profissionais das áreas de UX e de design, é notório que otimizar processos como os citados aqui pode evitar retrabalhos no código do programador front-end (ou até mesmo do back-end!). Dessa maneira, estar atento à importância do Teste A/B pode otimizar o trabalho e as conversões da página.

Quer entender melhor como os Testes A/B estão presentes no nosso dia a dia e como eles impactam diretamente nas nossas decisões? Veja o vídeo abaixo:

Também separei posts que falam de otimização e Teste A/B no blog da Rock.
Não deixe de conferir!

--

--