Melhoria contínua incremental através de testes
Sempre que estamos trabalhando no marketing digital, nosso objetivo é ter a melhor performance possível. Seja quando estamos fora do site (fazendo anúncios), seja quando estamos dentro do site — queremos trazer o máximo de valor para os nossos esforços. Um caminho é concentrar esforços em melhorar a conversão.
Seja qual for o objetivo: melhorar a taxa de cliques, de visualizações, de transações ou cadastros — é preciso abandonar pré-concepções de qual a melhor forma seguir e deixar seus usuários te mostrarem a maneira que se sentem mais confortáveis.
Simplesmente sair trocando criativos de anúncio, layout de landing page, texto de botão (etc), tem dois problemas principais:
01. Você não sabe se houve alguma sazonalidade externa que interferiu no resultado;
02. Se a nova opção for pior que a original, você está perdendo dinheiro (mais do que deveria).
A maneira de se proteger e ter certeza de seus resultados é através da realização de testes AB. Quando uma empresa como Netflix faz qualquer — qualquer — alteração, ela só faz depois de realizar um teste AB sobre essa ela. Seja a inteligência da busca, seja a capa de um filme.
O conceito base
Esse já é um conceito difundido e que as pessoas estão acostumadas, mas não custa nada e é um bom ponto de partida. Um teste AB é a técnica de apresentar duas versões para públicos aleatórios e isolados, e medir qual teve o melhor desempenho.
Podem ser duas versões de um anúncio, de um fluxo de checkout, de um banner… As possibilidades são vastas, mas é preciso ter alguns cuidados:
- Os usuários que recebem uma versão não podem receber a outra versão (durante o teste). Isso distorce o comportamento e prejudica a sua avaliação.
- É preciso que a distribuição de quem recebe cada versão seja aleatória, para que não haja qualquer tipo de viés. Qualquer tipo de segmentação arbitrária fará com que um grupo naturalmente desempenhe melhor.
- O que você está testando precisa estar isolado dos efeitos de outros experimentos. Se você está medindo algo que deve aumentar o tempo de permanência, o usuário não pode ser influenciado por outro teste que afetaria a mesma variável. Isso inviabiliza os dois testes, pois você não sabe qual gerou o resultado.
- Você precisa ter uma quantidade de dados que torne a sua análise confiável e isso é completamente dependente da quantidade de tráfego (ou visualizações) que você tem.
Atualmente quando falamos de testes ABs, normalmente estamos falando de testes ABn, ou seja, onde experimentamos mais de duas versões ao mesmo tempo. Isso pode ser feito para evoluir mais rapidamente.
Por exemplo: se você quer avaliar uma nova cor de botão e um novo texto, você não pode simplesmente testar a mudança completa de uma vez em um teste AB de duas versões. Você precisaria testar a mudança de botão primeira e depois a mudança de texto (ou vice versa). Com o teste ABn, você criaria uma versão para cada variação e já faria todos os testes de uma vez.
O problema é que para isso você precisa quebrar mais a sua audiência para realizar os testes, tornando mais mais demorado para você atingir a relevância estatística.
Como os conceitos para realizar um teste com apenas duas ou com mais versões é o mesmo, vou seguir apenas citando o teste AB.
A vantagem
Que devemos sempre estar buscando melhorar é algo claro. Nunca vamos ter um resultado perfeito, sempre haverá algum tipo de ajuste. Toda a questão que vamos abordar é como trabalhar esse ajuste. Simplesmente alterar a experiência de todos os clientes é muito arriscado.
O consumidor não gostar da nova versão pode gerar um efeito ruim, onde apesar de haver um sentimento ruim, a conversão ocorre; um efeito péssimo onde o há uma desistência e se perde o cliente; ou mesmo um efeito terrível onde o usuário não compra e passa a espalhar como o seu projeto era bom e agora é ruim.
Os testes ABs são um caminho mais seguro, pois não é sequer necessariamente feita uma divisão igualitária das partes. Você pode pegar uma fatia pequena de seu público para experimentar a alteração proposta. Um grupo onde qualquer efeito ruim será minimizado e não gerará grandes consequências, mesmo que falhe.
Priorização de esforços
A vontade é sair testando várias hipóteses. Só que mexer em uma etapa da jornada do consumidor muitas vezes acabaria afetando outros possíveis testes simultâneos e não há tráfego suficiente para fazer um ABn tão extenso. É preciso haver uma priorização, mas como decidir onde começar?
É preciso ter um retorno aos dados para responder essa pergunta. Abrir o seu painel para analisar cada etapa do consumidor e entender quais são aquelas que estão abaixo da performance desejada. Dessas selecionadas, balancear quais são as com maior potencial de ganho de desempenho. Assim você terá a sua lista de prioridades.
É preciso que os esforços para de melhoria gerem um resultado, que eles tenham um impacto claro nos indicadores.
Os testes AB dificilmente promovem uma virada completa de desempenho, é preciso que seja um trabalho contínuo, mas ainda assim, você deve sempre ter sua atenção voltada para onde acredita que irá conseguir ter a maior diferença para o seu negócio
Claro que as vezes a sua hipótese não estará certa e não haverá qualquer ganho de desempenho (apenas de aprendizado), mas você estava atuando em uma área do projeto em que há grande potencial de melhoria e agora tem mais conhecimento para conseguir fazer os ajustes necessários.
Garantindo a relevância do teste
Uma vez iniciado o teste, sua maior preocupação deve ser garantir que os grupos não se contaminem. Ou seja, o segmento que recebe a versão A, não pode ser impactado pelo versão B ou por algum outro fator que diferencie ele do outro grupo. Isso traria um viés para um estudo e possivelmente faria necessário que fosse recomeçado.
As vezes existem dificuldades porque o usuário acessa mais de um computador (e não está logado em todos), ou as pessoas podem simplesmente comentar entre si “olha como aqui no meu é diferente”.
Esses tipo de coisa acontecem, mas garantindo a aleatoriedade da distribuição de cada grupo e que o teste rodou tempo suficiente para conseguir ser relevante estatisticamente, esses efeitos serão minimizados.
Existem ferramentas complexas que podem te ajudar a garantir esses efeitos, mas qualquer coisa, você também pode usar algumas calculadoras online que podem te ajudar a ver se o seu teste já pode ser encerrado ou se ainda precisa ficar alguns dias.
Mentalidade
Quando você acabar o seu teste e (confirmando sua hipótese) implementar a nova versão em seu site, o importante é entender que agora você está pronto para justamente fazer um novo teste AB.
É preciso estar ávido por testes. Fazer eles o tempo todo. Sempre haverá algo para melhorar no site. Acreditar que você sabe qual é o melhor caminho pode levar para a trilha errada. É preciso deixar que seu consumidor indique com qual solução ele fica mais confortável e os testes AB tem esse objetivo.
Com uma mentalidade de melhoria contínua, você entende que não irá fazer (sempre) algo extraordinário que irá revolucionar completamente o seu desempenho de uma semana para outra. Aqui há a compreensão que o caminho é ser um pouco melhor nessa semana do que na semana passada, só que em todas as semanas.
É uma opção mais viável do que ficar estagnado bolando uma virada gigantesca que leva meses, é implementada e não tem o resultado esperado, gera prejuízo e no fim você estava onde começou. Se cada pedacinho for sendo testado e ajustado para ter mais sinergia com o seu público pouco a pouco, você tem um caminho consistente e (mais) seguro.
Você faz um teste essa semana e melhora sua conversão geral vai de 0.6% para 0.62%. Na outra semana outro teste leva para 0.63%. E você vai mantendo sua melhoria semana a semana, mês a mês, ano a ano. Consegue perceber onde isso te leva em 1 ano? Onde pode levar em 5?
