Validando hipóteses através de testes A/B
No ano anterior, pude participar do primeiro time do Banco Carrefour a realizar testes A/B em um de seus produtos. Em uma parceria entre as áreas de UX e Martech, pudemos ouvir demandas do time de negócios e produtos, criar hipóteses, colocar para pessoas usuárias testarem e analisar os resultados.
Foram muitos desafios, desvios de rotas e, com isso, muitos aprendizados também que sintetizei neste artigo. Se você pensa em começar a fazer testes A/B espero que esses aprendizados possam te ajudar.
Mas o que é um teste A/B?
Teste A/B é um método quantitativo, utilizado no design para comparar versões diferentes de uma mesma interface com o público. O objetivo do teste é observar o comportamento da pessoa usuária frente aquelas novas propostas de design e escolher aquela que traz os resultados desejados, como, aumento da taxa de cliques, aumento da taxa de conversão, diminuição do número de abandonos, entre outros.
O teste A/B deve distribuir duas ou mais versões de forma aleatória para o público. Sendo uma versão A (controle), que é o estado atual da interface e outra, a versão (variável), que possui a variável a ser testada. A definição da amostragem do público a ser atingido pelo teste tem que ser igual para cada variável e ter uma quantidade estaticamente relevante.
O que podemos testar com o teste A/B pode ter complexidades diferentes. Podemos testar um título, uma cor, uma imagem, um botão, organização de elementos, precificação, etc. Também podemos testar todo um componente, página ou até mesmo fluxo completo, porém isso aumenta sua complexidade de sua implementação e análise. Para um teste mais complexo e multivariável podemos precisar da equipe de desenvolvimento para implementação e ter um maior cuidado na avaliação de resultados.
Como começar os experimentos
Primeiro acompanhe as métricas de seu produto durante um período anterior para ter uma linha de base, definir pontos de melhoria e, após o teste, fazer a comparação com a nova versão proposta. A equipe precisa estar confiante na definição da métrica para não acrescentar outras e o time se perder do objetivo. Mas ter uma visão geral das métricas ajuda, pois a variação pode favorecer um indicador e piorar outros.
Se possível, teste uma coisa por vez. Testar diversas variáveis em um único teste, aumenta a complexidade e fica mais difícil saber qual elemento que deu certo ou errado.
Também é preciso avaliar os problemas e oportunidades para criar uma hipótese que vai ser testada e que seja relevante para modificar a métrica desejada. Por exemplo, queríamos aumentar a atratividade do produto de Crédito Pessoal e aproveitamos um card na tela inicial que informava a pessoa que ela tinha um valor de Crédito Pessoal para realizar uns testes.
Primeiro acompanhamos a taxa de cliques por impressão (CTR — Click Through Rate) por um período e depois definimos que essa seria a métrica a ser observada no teste. Decidimos iniciar fazendo um teste de conteúdo, pela simplicidade de implementação, pois desse modo não precisaria de desenvolvimento, apenas com o Google Optimize conseguiríamos alterar.
Teste 1: Se colocarmos uma frase referente ao principal motivo de contratação do CP conseguimos atrair o público certo.
Teste 2: Como evolução desse teste, supomos que colocar o valor do crédito que a pessoa tem pré-aprovado direto no card na tela inicial iria atrair ainda mais o interesse.
Durante o teste
É interessante utilizar apenas uma única ferramenta como fonte da verdade, pois cada uma tem os seus parâmetros que podem variar e atrapalhar a definição do resultado. No período, nós utilizamos as ferramentas Google Optimize (ferramenta descontinuada) para construir e aplicar testes A/B e utilizamos o Data Studio (atual Looker Studio) para converter dados em relatórios e dashboards customizáveis para acompanhamento dos resultados, conforme você pode conferir adiante.
Aqui no Banco Carrefour, contamos com a equipe de Martech que é a responsável por analisar os dados da jornada de cliente e criar estratégias que melhorem o funil de vendas. A equipe implementou o teste e também criou dashboards para acompanhar as métricas junto com as demais áreas envolvidas.
Quando colocar o teste em produção, devemos aguardar um tempo para que o tamanho da amostra seja relevante. Mas é preciso definir um prazo para que o teste acabe, e esse prazo irá variar dependendo da sazonalidade do produto. O teste pode demorar horas ou dias! Mas nada de tirar conclusões precipitadas com pouco tempo de teste.
Avaliando os resultados
Com o dashboard bem estruturado, conseguimos observar claramente a diferença entre as versões A e B do teste e assim conseguir tomar a decisão do que funciona para as pessoas usuárias.
É relevante dizer que os dados dão um sinal do que está funcionando ou não, mas eles não dizem tudo. Se for necessário entender as motivações, cruze os dados com métodos qualitativos. Às vezes não adianta mudar a interface para vender um produto que não atende ao seu público.
Caso sua hipótese não tenha resultados positivos, pegue o aprendizado e tente novamente com outra abordagem. Sem apegos! Temos que errar rápido para saber o que não funciona e tentar novamente até acertar.
Conclusões
No caso do nosso teste 1, notamos que a versão B (variação com mensagem de motivação) do card se mostrou mais atrativa para as pessoas usuárias devido à métrica definida, taxa de cliques sob impressões (CTR), ser maior que a versão A (controle).
No teste 2 concluímos também que a versão B (variação com valor disponível) também teve uma atratividade aproximadamente 2% maior do que a versão A (controle) — sem mostrar o valor disponível.
Também avaliamos o CTR segmentado pela faixa de valor disponível, para avaliar se exibir o número para pessoas com valor mais baixo causava menor atratividade e vimos que o aumento do CTR na versão B se dava em todas as faixas de valores. Além do CTR, também acompanhamos como métricas secundárias o valor da conversão e o ticket médio. Ambas tiveram aumento também na versão B (variação). Baseados nos resultados, tomamos a decisão de seguir para o desenvolvimento e exibir o valor disponível de Crédito Pessoal logo na tela inicial.
E não para por aí! Após o teste é preciso registrar seu histórico com a hipótese que foi testada, a métrica de sucesso, duração do teste, resultados, aprendizados e próximos passos. Também devemos sempre compartilhar os resultados com o resto do time e com os demais times para que eles tenham insights para suas áreas. Eles também podem trazer mais ideias de hipóteses para testar, assim, adicionando ao backlog várias oportunidades de melhorias.
Por fim, aprendemos que utilizar o teste A/B nos ajuda a tomar decisões baseadas em dados, conhecendo de forma constante as pessoas usuárias e entregando o que melhor funciona para elas. Porém, é preciso definir os objetivos que queremos atingir e criar uma prática constante de testes para que o aprendizado seja contínuo.
Referências
10 coisas que todo profissional deve saber sobre teste A/B — Thiago Acioli
Criando Um Teste A/B Com o Visual Website Optimizer — Huxley Dias
Testes A/B: Como otimizar suas conversões e gerar mais resultados — Clara Borges
