Teste A/B em Negócios
Uma forma simples para analisar o efeito de uma nova estratégia.
Durante o desenvolvimento das vacinas da Covid-19 os termos como placebo, grupo controle, teste cego e randomizado foram utilizados com frequência nas mídias.
Para testar tratamentos médicos, os pesquisadores, de forma aleatória, aplicam a vacina em um grupo e o placebo em outro. O placebo é algo que não faz mal à saúde ou pode ser algum medicamento tradicional. Hoje não é ético uma pílula de açúcar como placebo para uma doença que já tem tratamento. O ponto aqui são duas opções, um placebo ou tratamento atual que servirá de controle contra um desafiante.
Agora, entra o randomizado, ou aleatório, para que os grupos não sejam viesados e as comparações sejam de pessoas com características semelhantes. Nada mais complexo que o corpo humano com suas diferenças genéticas que podem potencializar ou minimizar os efeitos de um medicamento.
A vantagem de ser aleatório é que essas complexidades ficam igualmente distribuídas nos dois grupos e que a única diferença seja apenas o tratamento aplicado.
Nos negócios valem a mesma regra, seja uma estratégia simples ou derivada de alguma inteligência artificial. Você terá um grupo de pessoas como controle que é aplicada a estratégia atual contra um grupo de pessoas que são submetidas a um novo processo — que espera-se melhorar a experiência do cliente.
A menos de alguma particularidade, os testes são feitos simultaneamente nos grupos. Imagine uma estratégia de vendas que é influenciada pelo câmbio e você aplica o teste em diferentes meses do ano, um grupo com dólar a R$5,50 e outro com dólar a R$5,20. Você não saberá dizer de forma direta e clara se o efeito foi do dólar ou do tratamento.
Ao final do período você terá grupos com atributos similares por causa da aleatoriedade na seleção de indivíduos submetidos ao teste, vale sempre checar se isso de fato aconteceu comparando as distribuições nos estratos de interesse (por exemplo: idade, região etc). Por fim, você pode consolidar sua métrica, seja ela um conjunto de respostas Sim ou Não, com múltiplas respostas ou um valor contínuo (por exemplo: dinheiro).
Quando o valor é contínuo, pode-se fazer um dot-plot/box-plot para ver a concentração das respostas nos quartis. Você pode ainda consolidar a sua resposta com intervalo de confiança, seja ele paramétrico ou não paramétrico como o bootstrap. Isso vai te dar mais clareza sobre a variabilidade esperada de cada método.
Links complementares para Bootstrap e Jacknife: USP, UFPR, Washington, Berkeley
Agradecimentos
Revisão: Comunicação Institucional
