Introdução ao Teste A/B

Porque comecei a estudar

Gostos e achismos são questões pessoais e dependem de cada indivíduo. Em diversos lugares é comum encontrar pessoas discutindo que A é melhor que B ou que B é melhor que A, mas sem abrir mão dos seus pontos de vistas.

Em nossos projetos aqui na Taqtile isso também acontece, muitas vezes o cliente insiste em dizer que quer um componente de tal maneira que nós discordamos, porém, se não há estudos sobre aquele pedido, não é possível estruturar argumentos consistentes gerando a famosa discussão de achismos e gostos.

Por conta desse problema uma das soluções que encontramos foi o Teste A/B, que a partir de testes quantitativos com usuários, são acumuladas métricas as quais podemos analisar e concluir, se dentre as opções testadas qual é a que está mais alinhada com os objetivos da solução.

O que aprendi

Para começar a falar sobre o assunto, uma curiosidade interessante sobre teste A/B é que ele não foi uma técnica criada estritamente para o mundo digital. Os agricultores muito antes de surgir a era do "www", já utilizavam este método para ver em qual área plantariam determinado produto. Na medicina também é utilizada essa técnica, realizando testes com grupos de pessoas para determinar, se um novo medicamento ou tratamento é eficiente no mercado.

No mundo digital, o teste A/B vem sendo utilizado por diversas corporações. Por conta disso, a Google juntamente com a Udacity chegou até a criar um curso sobre o tema e o que mais me chamou atenção foi que eles foram bem à fundo no assunto, tanto que o recomendável para iniciar o curso é ter uma noção básica sobre estatística.

A primeira dúvida que me surgiu ao começar a estudar sobre o assunto, foi a diferença entre teste A/B e teste de usabilidade, em ambos você fornece a solução para o usuário e ao final coleta insights e respostas, mas o que me deixava confuso era "Por que se aplicar um e não o outro?". Para resolver esse problema logo no começo do curso a instrutora, Diane Tang, diz “Se você estiver diante de duas montanhas, o teste A/B não te ajuda a saber qual delas é a melhor para escalar, mas sim, qual o melhor caminho à se fazer para chegar ao topo da montanha em que você já está”. Então, se você tiver duas idéias (Ex. de um app) e quiser testá-las, não é o teste A/B que vai te dizer qual delas funciona melhor, agora, se dentro de uma idéia você quiser testar duas variações para ver qual atinge melhor o objetivo da solução o teste A/B se encaixa perfeitamente.

Como pretendo aplicar esse conhecimento

Aqui na Taqtile já foram feitos alguns Testes A/B, um deles que fizemos foi para um e-commerce, no qual queríamos ver se uma mudança na listagem de subcategorias impactava a conversão. A experiência que tivemos foi muito rica e um dos maiores aprendizados foi com a organização necessária para começar um Teste A/B, pois, para se aplicar este tipo de teste não é só criar duas variações, jogar aleatoriamente para os usuários e esperar para ver qual deu o melhor resultado, é necessário um planejamento bem feito.

Uma das etapas de preparação para realizar um teste A/B, é definir as métricas e o porque dessas métricas, se isso não for muito bem definido e calculado a chance de errar na hora de analisar os resultados finais é grande.

Por esse motivo, o meu próximo passo é ajudar no planejamento desses testes em outros projetos.

Sendo assim, espero vocês para o próximo capítulo aonde contarei o resultado e aprendizado dessa experiência que está por vir.

Até a próxima!