Testes A/B poderiam até mudar a sociedade, mas por ora, vamos focar em seu negócio online.

Imagine a seguinte situação: dois políticos discutem sobre a eficácia da lei da maioridade penal. Como já estamos acostumados, a discussão não sai da teoria e raramente se chega a uma conclusão. Ninguém concorda. Nenhum dos dois políticos tem certeza da eficácia da lei no Brasil, ainda que em outros países já se tenha ou não sucedido.

Imagine agora se os dois pudessem acabar com a discussão de uma vez. Como ambos sabem que o que têm são opiniões — e nada além de opiniões — resolvem testar a lei e mensurar sua eficácia. O objetivo é claro: diminuir a criminalidade praticada por menores. Juntos, eles elegem duas cidades com características semelhantes — mesmo IDH e números absolutos de criminalidade similares praticada por menores. Na cidade A, nossos políticos implementam a lei. Lá, qualquer menor de idade pego praticando crime, será julgado como adulto. Na cidade B não. Lá tudo continua igual.

Depois de algum tempo chegam os números. Na cidade A, o crime caiu vertiginosamente, enquanto na cidade B os índices de criminalidade apenas aumentavam. O político contrário à maioridade penal já estava quase convencido. No entanto, antes de passar uma lei de tamanho impacto para todo o território nacional, ambos concordaram em escalá-la aos poucos, comprovando sua eficácia cidade por cidade, até que chegue a todo território nacional e seja, enfim, validada.

Se no direito brasileiro esta possibilidade de testes é distante, no mundo virtual ela não só é possível, como absolutamente necessária. Como no exemplo acima, os testes comprovam ou negam uma teoria, não deixando espaço para opiniões, apenas certezas.

Imagine agora o seguinte cenário. Você e seu chefe têm opiniões divergentes quanto ao posicionamento de um Call to Action de ‘Comprar’ em um comércio eletrônico, já na página inicial.. Ele acha que o botão fica melhor no canto superior esquerdo, enquanto você acha que ele se comportaria melhor no canto superior direito. O objetivo aqui também é claro — aumentar o número de cliques no botão de comprar. Muito bem, hora de provar quem está certo e quem está errado. Hora de aplicar o que você, leitor, veio aqui para entender: o Teste AB.

Afinal, o que é um teste A/B ?

Teste AB é uma técnica de Marketing Online trazida para a área de Experiência do Usuário. Ela consiste em comparar duas ou mais amostragens de um software/website, medir seus resultados e declarar uma amostragem vencedora.

No exemplo do designer contra o chefe, por exemplo, duas variações seriam testadas. A original (A) e a variação (B). Isso significa que 50% dos usuários que entrassem na página veriam a tela original e 50% veriam a variação B. Aquela que obtivesse mais cliques depois de um determinado período de tempo (afinal, esse foi o objetivo declarado) venceria a disputa e seria incorporado ao site como característica permanente. A outra seria descartada.

A opinião do seu chefe pode ou não condizer com a verdade, mas ela (e a sua) só será confirmada mediante um teste. E o teste mais efetivo para a confirmação de hipóteses online, hoje em dia, é o teste AB.

Ok, ok. Já estou convencido. Mas como aplico um teste A/B?

O mais difícil na hora de aplicar um teste AB é justamente decidir o que testar e um dos erros mais recorrentes, por incrivel que possa parecer, é testar sem antes definir o objetivo do teste. Ao invés disso, siga os seguintes passos:

1. Defina Sucesso

Antes de definir qual variação será a vencedora, é preciso definir o que é vencer. Em um e commerce, por exemplo, uma definição óbvia de sucesso é: “A variação com maior conversão de vendas, vence”. Ou um passo qualquer dentro do funil de conversão.

2. Identifique Gargalos

Agora que você já definiu o que é o sucesso, procure entender como alcança-lo. Para isso, você precisa identificar os pontos fracos de seu negócio online. No caso de um e-commerce, por exemplo, o ponto de abandono mais comum é a página de checkout. Você consegue identificar esses gargalos consultando sua ferramenta favorita de analise de dados, como o Google Analytics por exemplo.

3. Construa uma hipótese

Agora, use seu entendimento do modelo mental do usuário para tentar descobrir o porque do abandono. Formule uma hipótese baseada em seu conhecimento do negócio. Testes qualitativos de usabilidade como focus groups, formulários de feedback, usabilidade assistida, entre outros, podem ajudar você a ser mais assertivo.

Em uma agencia de viagens online, por exemplo, o botão Compre Este Hotel, na homepage, pode não estar gerando tantos clicks quanto os stakeholders gostariam. Você então imagina que talvez esta frase esteja muito agressiva, espantando os usuários. Constroi então a seguinte hipótese: “Se mudarmos o texto de Compre Agora para Veja Este Hotel geraremos mais clicks”.

4. Priorize

Em um mundo perfeito você poderia testar todos os pontos de melhoria do seu negócio online. Mas acredite. São muitos. Priorize aquele que lhe trará mais retorno sobre o investimento (ROI — Return Over Investiment)

5. Escolha sua audiência

Testes A/B foram criados para melhorar seu site, mas suas hipótestes podem estar terrivelmente erradas. Não se preocupe. Isso é normal. Continue sempre tentando. Mas verifique o quão impactante será seu teste. Caso o impacto seja grande selecione uma pequena porção de sua audiência e faça o teste com ela. Você pode, por exemplo, selecionar 5% de sua audiência e dizer que 50% desses 5% irão ver o original e outros 50% deste 5% verão a (s) variação (ões).

6. Teste

Vamos agora ao que interessa. É hora de testar. Faça seu teste e deixe ele rodando até que ele atinja significância estatística. Para saber quanto tempo um teste A/B deve rodar de acordo com sua audiência, a mais popular ferramenta de teste A/B do mercado, o Optimizely, disponibiliza uma calculadora bem interessante. Uma mão na roda. O link (em inglês) está disponivel ao final deste artigo.

Ferramentas para teste A/B

Descubra sua favorita entre os listados abaixo:

Informações Importantes

  • Testes A/B não precisam ser concebidos com uma variação apenas. Em muitos casos, podem haver duas ou mais variações. Tudo depende de quantas hipóteses para o mesmo problema você deseja testar. Com mais de uma variação um teste A/B passa a ser chamado teste A/B/C
  • Testes A/B não são para todo mundo. Caso seu negócio online receba poucos visitantes você não terá significância estatística e sua hipótese não será validada. Neste caso, procure outras formas de testes, como heatmaps e testes qualitativos.
  • Para testes mais complexos, algum conhecimento em Jquery pode ser necessário.

Considerações Finais

Não fique de fora

A era dos testes A/B chegou ao grande mercado online. Abrace esta era de ouro. Não lute contra ela. O design de opinião deve morrer e dar espaço à lógica. Isso nunca significará a morte do design e do bom gosto e sim sua melhoria. Como designer você deve pensar no usuário e entregar ao usuário o que ele quer. Isso também não significa a morte da inovação. Pelo contrário.

A inovação também ganha

Testes A/B não acabam com a inovação, pelo contrário. Você pode e deve criar a vontade. Crie, inove, mas sempre teste suas criações para ter certeza que os usuários realmente querem aquilo que você criou.

Acabe com a síndrome do HIPPO

A opinião da pessoa mais bem paga (highest paid person’s opinion), ou simplesmente HIPPO, é geralmente levada em consideração. É aquele chefe que resolve trocar a cor do botão de verde pra vermelho porque ele acha que fica mais bonito. Acabe com isso. Teste tudo e prove por A mais B que a opinião de ninguém vale. Confie apenas nos dados e faça design para o usuário.

Links Úteis

Casos de Sucesso

Casos de sucesso com testes A/B (ou A/B/C) surgem por todas as partes do mundo a todo momento. A seguir, alguns deles e os links para os artigos completos:

Barack Obama

Como Barack Obama conseguiu levantar 60 milhões de dólares com um simples experimento:

Visite o Blog do Optimizely

Netflix

O Netflix mudou sua interface para desagrado geral da comunidade de design internacional. Redesigns e críticas severas surgiram por toda a internet. A empresa, no entanto, manteve a nova interface. Mas, por quê? Por que os dados não mentem e eles disseram que a nova interface do Netflix era a mais adequada.

Visite o Blog do Optimizely