Como saber qual versão de um site vende mais — 7 Days of Code — Dia 06

Photo by Carlos Muza on Unsplash

O desafio do sexto dia do 7 Days of Code era fazer um teste A/B.

É como se eu trabalha-se em um e-commerce e tivesse criado um sistema de recomendação novo. O objetivo é saber se esse sistema é mais efetivo (ou seja, atrai mais clientes e vende mais produtos) do que o antigo. Pra isso foi feito um teste mostrando as duas versões do site e será comparado quem gerou mais conversões.

Esse artigo usou MUITO de referência os códigos e os comentários do Renato Fillinich (Thank You!!!). Um ponto a melhorar notado ao resolver o Teste A/B e ao escrever este texto é o meu conhecimento em estatística. Então terei dificuldade em explicar alguns dos pontos, mas todos podem confirmar os detalhes no trabalho referenciado que está muito qualificado. E já encontrei um curso de estatística para Cientistas de Dados, que começarei a assistir nos próximos dias.

A primeira coisa a ser feita é definir taxas e a hipótese. O objetivo é que as taxas de conversão cresçam pelo menos dois por cento, assim o effect size pode ser classificada como 13% e vai para 15%.

effect_size = sms.proportion_effectsize(0.13, 0.15)

E agora se calculará qual o tamanho da mostra necessário. O power = 0.8 é uma conveção, o alpha como 0,05 significa que qualquer alteração menor que isso não vale a pena considerar. No fim, é arredondado para cima. O resultado dos códigos abaixo foi de 4720.

required_n = sms.NormalIndPower().solve_power(
    effect_size, 
    power=0.8, 
    alpha=0.05, 
    ratio=1
    )

Os usuários duplicados são removidos, para não tender a amostra para um lado. Assim, é criado um grupo controle e um grupo experimental com 4720 usuários e concatenados em um único dataset. Agora, é calculado as taxas de conversões e aplicadas e seus desvios.

Após isso, é criado um gráfico que mostra que a variação da conversão é insuficiente para confirmar uma melhoria no desempenho.