Um guia de boas práticas para acertar no seu teste A/B
Do registro à escrita, existe um processo claro que pode ser seguido para o sucesso de seus experimentos
Empresas estão sempre evoluindo seus produtos e serviços e, para direcionar essas evoluções com embasamentos analíticos, atualmente temos o teste A/B como a queridinha no auxílio na tomada de decisão. Aos acostumados com o processo, sabe-se que nem tudo são flores no nosso dia a dia e, para isso, há algumas dicas para ser mais assertivo na finalização do seu teste.
Como profissionais de Data Science, ficamos sempre em alerta com algumas situações recorrentes na nossa rotina:
Dois testes de dois times diferentes na mesma página rodando ao mesmo tempo.
Um experimento iniciado - e colocado em produção - ter sido esquecido sem nenhuma conclusão.
Ou pior ainda: aquele teste A/B para verificar a eficiência de mudar a cor de um botão rodando há semanas, enquanto existem dezenas de outros experimentos mais importantes na fila.
Pois é, a vida em tecnologia pode ser bem mais caótica do que parece. E, para evitar o caos diário, aqui na Quero Educação temos algumas práticas para a execução de testes A/B que ajudam a mitigar esses tipos de problemas:
1 — Tenha um local centralizado para registrar e comunicar seus experimentos
Escolha uma ferramenta e registre todos os testes. Comunique os interessados sobre os testes e deixe claro qual é o local de registro/documentação dos testes. Informe a todos os envolvidos os testes que serão feitos e que estão rodando. Aqui na Quero estamos utilizando o Jira, mas você pode usar qualquer ferramenta (Google Sheets, Trello, etc).
O importante é a cultura de comunicar a todos (desenvolvedores, product managers, designers, etc) onde encontrar os testes que vão ocorrer (to-do), que estão ocorrendo (doing) e que ocorreram (done).
2 — Tenha um processo claro de execução dos testes A/B
É importante estruturar como os testes são feitos e como é o ciclo de vida de experimentação dos times. Tenha etapas como o exemplo a seguir:
- Etapa 1: Idealização do teste.
- Etapa 2: Validação do teste. Discuta se o teste faz sentido ou não, se vai para o ar ou não.
- Etapa 3: Produção do teste. Decida quando o teste será inicializado e finalizado em produção.
- Etapa 4: Registro de conclusão final do teste.
Agora imagine um teste sem essas fases.
Roda-se o teste, gasta-se dinheiro, converte-se o site e consome-se o tempo da equipe para nenhuma conclusão ser registrada sobre a execução do teste.
A imagem a seguir ilustra o processo que estruturamos na Quero para criar, rodar e finalizar um teste A/B. Contendo os seguintes estados:
- Formulação da hipótese: Descreva o problema, as variantes, a métrica a ser testada, etc.
- Validação do Data Scientist (ou Data Analyst): Peça a alguém com um perfil mais analítico para validar as premissas do teste para que ele vá para produção.
- Running: Rode o teste de fato e não se esqueça de registrar as datas de início e fim do teste. Além disso, acompanhe como as variantes estão sendo executadas.
- Esperando uma conclusão: Depois de executar o teste, registre a conclusão final do experimento. Esta etapa é extremamente importante, já que o objetivo do teste é gerar conhecimento e uma decisão de negócio
- Concluído: Pronto! O teste foi finalizado. Porém, ele ainda fica registrado em algum diretório de sua preferência para consultas futuras, havendo a possibilidade de ver o que ocorreu no passado.
3 — Escreva, escreva e escreva
É fundamental escrever para deixar bem claro todo o embasamento do seu teste A/B.
A ideia não é fazer uma “dissertação” para cada teste e experimento, mas é fundamental deixar claro, de forma escrita como funciona esse experimento. Diferentes pessoas da sua empresa vão precisar entender o que está acontecendo, o histórico do que aconteceu, etc. Assim, a imagem a seguir ilustra uma boa formalização de um teste A/B.
4 — Tenha um balanço saudável da quantidade de testes
É ruim ter vários testes rodando ao mesmo tempo?
Bom, depende.
A literatura afirma que quanto mais você isolar o seu experimento, melhor vai ser sua conclusão final. Porém, na prática, em um time com 600 funcionários, 20 squads e um produto com evolução bastante acelerada, é difícil esperar que tenha apenas um experimento rodando por vez.
Na verdade, empresas grandes como Netflix e Facebook rodam testes multivariados o tempo todo.
Deve-se entender a sazonalidade e os efeitos do tempo no seu experimento, ver a significância estatística, isolar bem os diferentes experimentos e documentar.
Tendo isso tudo estruturado de forma clara e organizada para que todas as equipes possam entender o que está acontecendo, você não vai acumular vários testes sem sentido ao mesmo tempo.
Aplicando em seu contexto, essas dicas simples e úteis deixarão seu processo de experimentação e criação de testes A/B mais robusta, clara e auditável. E, se você teve experiências positivas ao usar esses passos na execução de seus testes, compartilhe conosco.
