Passo a passo para implementar um teste A/B
O teste A/B tem como principal objetivo entregar aos usuários duas ou mais variantes da mesma página e entender qual apresenta melhor resultado para o objetivo proposto. Neste artigo não vou me aprofundar nos conceitos do teste, mas sim, entregar uma sugestão de passos necessários para colocar ele em prática. Importante ressaltar que minhas sugestões são baseadas na minha experiência e nos aprendizados que tive no meu primeiro teste A/B.
De forma geral, os passos são simples: envolve planejamento, execução e análise. Mas existem uma série de detalhes dentro de cada um deles que pode deixar muita gente confusa, então vou falar um pouquinho sobre cada um deles.
1. Planejamento
- Defina seus objetivos e crie sua hipótese
Tenha claro quais respostas você está buscando com o teste. No meu caso, esta foi a etapa em que eu levantei todas as minhas dúvidas, que se tornaram meu ponto de partida. Com base nelas, busquei entender quais delas os dados poderiam responder, gerei algumas hipóteses para validação e defini o que seria a principal métrica de sucesso.
Aqui é muito importante ter sua hipótese bem definida, pois é ela que irá direcionar os passos seguintes, como a variante de teste.
- Crie sua variante
Uma variante pode ser um texto diferente, um componente de outra cor, uma interface com a ordem dos elementos diferentes, entre outras inúmeras variáveis. Entretanto, independente do que seja, crie essa variável e certifique-se do impacto que ela causa (ou não) na jornada do usuário.
No projeto em que implementei, a ideia era reduzir a jornada de compra, o que resultou na remoção de um dos passos do fluxo atual. Sendo assim, além de revisar cuidadosamente a jornada, sempre que surgia uma oportunidade, envolvia o time para entender se não existiam cenários que eu não estaria considerando.
Recomendo a participação de pelo menos uma pessoa de desenvolvimento e o responsável pelo teste de qualidade do produto — eles são ótimos para prever cenários que às vezes deixamos passar!
- Defina os detalhes finais e valide
Tendo a variável desenhada, é a hora de definir os pontos mais práticos do teste. Quanto tempo de duração ele terá? Com base no esforço técnico necessário, quando poderá ser iniciado? Quais são os insumos e ferramentas necessárias para realizar o teste?
Tendo tudo isso organizado, leve todo esse planejamento para a validação das partes interessadas e deixe todos a par do que está acontecendo. No meu caso, o teste seria aplicado em um de nossos clientes, portanto foi importante e necessário a validação e a percepção do cliente em relação a tudo o que planejamos até aqui.
2. Execução
- Desenvolva e teste a variante
Esta é a etapa em que nós, designers, fazemos o handoff e a variante entra para a sprint de desenvolvimento. É muito importante que a variante também passe pelos testes de qualidade do produto.
Além disso, retome suas perguntas iniciais e certifique-se de que você consiga gerar dados para responder o máximo de dúvidas possíveis. Lembre-se que os dados respondem perguntas qualitativas (QUANTOS, QUAIS, QUAL?), e se suas dúvidas começam com COMO ou POR QUE talvez esse não seja o tipo de teste ideal para ser implementado.
No projeto em que apliquei este teste, incluímos um botão a mais na interface, então foi necessário criar uma tag de analytics para ele. Definimos os parâmetros necessários que precisávamos coletar e o momento exato do disparo. Esta tag também passou por teste para nos certificarmos de que estaríamos gerando os dados necessários.
- Configure o teste no Firebase
Cito o Firebase, pois foi a ferramenta que utilizamos para execução do teste, mas vale também para a ferramenta que você for usar. Para entender melhor como o Firebase funciona com testes A/B, sugiro esta leitura.
Esta é a etapa de colocar em prática tudo o que foi definido anteriormente: configurar o objetivo principal, as metas secundárias, período, a base que receberá o teste, variáveis e demais configurações.
O teste que apliquei teve a duração de 3 meses. Tínhamos uma variante, então dividimos a base total em dois e cada uma recebeu uma variante.
- Prepare os dados de acompanhamento e faça suas análises
Pra mim, esta é a parte mais legal do teste A/B. É quando você dá aquela espiadinha diária e tenta controlar a ansiedade tentando adivinhar o resultado final do teste. Esta etapa não é mandatória, mas no projeto em que atuei ela foi muito importante, pois pude fazer o “reconhecimento de campo” da ferramenta, me familiarizando com todos os termos, dados gerados e tirando dúvidas sobre os dados que a mesma entregava. Além disso, usei o Data Studio para criar alguns gráficos que responderam parte das perguntas iniciais, que também foram uma fonte para aquela espiadinha diária.
3. Análise
- Reúna o time para obter insights
É muito importante ter a visão de outras pessoas do time. É importante que o seu teste tenha atingido um nível de confiança de no mínimo 95%. Quando você atingir esse índice, procure envolver as partes interessadas e juntos, conversem sobre os principais insights. Quando realizei essa etapa houve um comportamento fora do normal e sem o contexto completo, comecei a formular minhas próprias teorias para justificar. Foi quando o gerente de projetos, que também estava acompanhando, trouxe um fato muito importante e que fez toda a diferença na nossa análise.
- Reporte os resultados
Sou suspeita em falar, porque documento absolutamente tudo o que posso, mas recomendo fortemente que você também faça isso com o seu teste. Além de poder distribuir esse conhecimento para outras pessoas, o teste pode ser útil em algum momento no futuro. No meu caso, além de documentar, criamos um report para apresentar para o cliente.
- Decida a melhor variante
Aqui não tem segredo: depois de tirar todos os insights do teste, envolver o time e validar com todas as partes interessadas, é a hora de definir e implementar a melhor variante. Ou não, pois nada garante que você invalide suas hipóteses, siga com o produto como já estava em produção e tenha que começar um novo teste.
Um resumo do que rolou
Logo abaixo trago um resumo dos principais pontos desse passo a passo em formato de checklist. Se você leu até aqui, agradeço demais pela sua leitura e adoraria ouvir a sua contribuição e opinião sobre o assunto!
- Tenha claro o objetivo do seu teste;
- Crie uma hipótese para validação e defina a meta principal;
- Crie sua variante, revise a jornada do usuário e valide com o time;
- Desenvolva e teste a variante;
- Certifique-se de que conseguirá coletar todos os dados necessários, e se preciso, implemente novas tags;
- Configure o teste na ferramenta da sua preferência;
- Prepare o ambiente onde fará suas análises;
- Ao final do período, reúna o time para coletar os principais achados;
- Documente tudo!
- Tome uma decisão e, se for o caso, implemente a melhoria.
