Como aumentar a confiabilidade dos testes A/B em ASO
De forma semelhante ao SEO (Search Engine Optimization), que se concentra em realizar otimizações para melhorar o desempenho orgânico de sites, a ASO (App Store Optimization) foca em otimizações para melhorar o desempenho orgânico dos aplicativos nas lojas de dispositivos Android (Google Play) e de dispositivos iOS (Apple Store). Essas otimizações são focadas na maioria das vezes em campos presentes na própria página do App dentro das lojas, sendo que estes podem ser diferentes para cada ambiente. Veja abaixo os principais campos personalizáveis de cada loja:
Principais Campos no Google Play:
- título;
- ícone;
- screenshots (são as capturas de telas mostradas na página do aplicativo);
- descrição curta;
- descrição longa;
- picture grafic (imagem que é mostrada em diversos lugares da Google Play para promover o aplicativo).
Principais Campos na App Store:
- título;
- subtítulo;
- ícone;
- screenshots;
- texto promocional;
- descrição longa.
Com tantas opções, para saber de fato quais ações proporcionam resultados, é muito comum os profissionais de ASO utilizarem testes A/B para identificar e medir o impacto de suas otimizações.
Teste A/B de ASO
A aplicação de teste A/B se tornou algo muito comum em marketing digital, e com ASO não seria diferente. O próprio Google Play oferece um ambiente nativo para aplicação de testes, reiterando a importância deste tipo de prática.
Em resumo, a ideia atrás do teste A/B é validar ou rejeitar uma hipótese. Para comprovar se determinadas alterações ou implementações na página do seu App serão eficientes para toda a sua base de usuários, o teste A/B é utilizado para autenticar o que atrai mais engajamento para seu aplicativo dentro das lojas. Com os dados em mãos, é possível criar estratégias para impulsionar ainda mais suas principais campanhas.
Na prática, dentro do ambiente disponibilizado pelo Google Play, por exemplo, o teste funciona da seguinte forma:
1- determinar qual atributo será testado (ex: screenshot);
2- realizar trocas e/ou alterações deste atributo e salvar na variante “B” (que será avaliada contra a versão atual que está no ar, a variante “A”);
3- selecionar qual porcentagem de pessoas e qual versão lhes será apresentada.
O resultado é analisado dentro de um intervalo de confiança de 90% e a variante (A ou B) que demonstrar melhor desempenho é a indicada para ser aplicada para toda a base de usuários.
O modelo de teste A/B não é ruim, mas alguns fatores podem tornar os resultados do desempenho das variantes nebulosos. Para minimizar isso, é indicado deixar seu teste rodando ao menos 7 dias para diminuir o efeito da sazonalidade sobre ele, embora muitas das vezes o próprio Google Play ofereça o resultado antes deste prazo.
Outra coisa que impacta bastante os resultados de um teste A/B é a forma com que o Google Play faz a distribuição das variantes para os usuários. Nesse caso, é bem provável que não seja feita a distinção da origem pela qual o usuário chegou até a página do App, podendo vir através de uma campanha sazonal, de uma busca branded ou de uma pesquisa orgânica. Essa falta de distinção da origem pode enviesar o resultado do teste.
Exemplo: ao realizar um teste A/B sem filtrar a origem do usuário, o que pode acontecer é: a porcentagem que vê uma determinada variante ser em sua maior parte usuários vindos de campanhas sazonais ou buscas branded. Esses usuários já chegam com intenções mais certas para baixar o App, o que ocasiona um percentual de conversão para essa determinada variante maior do que o da outra. Observe que esse resultado obtido não veio pela diferença entre as variantes, mas pela diferença no canal de origem que os usuários chegam; então, no fim não é possível concluir tão bem qual é a melhor variante para ser aplicada para toda a sua base de usuários.
Teste A/B/B de ASO
O modelo de teste A/B/B de ASO é relativamente novo e existem outros modelos tradicionais mais comumente usados, como o teste A/B-B/A e o teste A/B/C.
O teste A/B-B/A consiste na realização de dois testes A/B um após o outro, verificando primeiro a variável A contra B e depois a variável B contra a A. Já o teste A/B/C funciona como o teste A/B com o acréscimo de mais uma variável C.
O nosso objetivo não é decidir qual é o melhor teste, mas expor as características do modelo de teste A/B/B, pois são muitos os fatores a se levar em consideração.
Basicamente o modelo de teste A/B/B é uma forma de buscar aumento da confiabilidade do teste A/B. Dessa maneira, o tempo em que o modelo deve permanecer rodando ainda é no mínimo de 7 dias, para diminuir o efeito da sazonalidade sobre ele.
A aplicação desse modelo se dá por 3 variantes: uma variante “A” e duas variantes “B”, divididas respectivamente com as seguintes porcentagens 34%, 33% e 33%. Como as duas variantes “B” possuem os mesmos conteúdos, o esperado de um resultado confiável é que ambas tenham um desempenho parecido, caso contrário podemos estar diante de um falso positivo.
Uma vantagem do modelo de teste A/B/B é o tempo. Diferente do A/B-B/A que necessita de duas semanas para responder a respeito da confiabilidade do resultado do teste, o A/B/B demanda apenas uma semana.
Assim, conseguimos em um prazo menor identificar falsos positivos e ter resultados mais confiáveis. O modelo A/B/B pode trazer mais agilidade para sua estratégia em relação ao tempo de teste e minimizar os efeitos da distribuição que o Google faz de variantes para os usuários.
Se você busca uma oportunidade de desenvolvimento, trabalhando com inovação em um negócio de alto impacto, acesse o portal B2W Carreiras! Nele, você consegue acessar todas as vagas disponíveis. Venha fazer parte do nosso time!
