Por que a experimentação é um pilar estratégico da cultura na Passei Direto?
O objetivo deste texto é tratar da importância da experimentação. Para isso, utilizamos como referência o livro Trustworthy Online Controlled Experiments (A Practical Guide to A/B Testing) de Ron Kohavi, Diane Tang e Ya Xu, escrito por líderes de experimentação na Google, LinkedIn, Airbnb e Microsoft. Trata-se de um livro lançado recentemente e ótimo para quem quer aprofundar no tema.
O Exemplo da Bing
A Bing é o motor de busca da Microsoft, uma empresa muito madura em experimentação que possui lista de melhorias a serem testadas. Essa lista passa por uma avaliação de priorização baseada no esforço necessário versus o valor para o negócio.
Exemplo de um teste que gerou alto impacto em Receita
Certa vez um dos desenvolvedores identificou uma ideia parada há 6 meses e percebeu que seria de fácil implementação. Resolveu fazer os ajustes necessários e garantir uma ideia a menos na lista de pendências.
A melhoria consistia apenas em concatenar a primeira frase do resultado da busca com o título do resultado, conforme ilustrado abaixo. Essa ideia foi incluída na fila de alterações na esperança de que este detalhe pudesse melhorar a experiência do usuário.
A fim de ter um maior controle dos riscos, o desenvolvedor criou um teste. Ou seja, fez a alteração para apenas um pequeno grupo de usuários pois, caso identificasse que a mudança havia prejudicado a experiência, teria impactado apenas uma pequena parcela dos usuários da Bing e bastaria retirá-la do ar sem grandes prejuízos para a empresa. Caso a mudança se mostrasse promissora, bastaria comparar seus resultados contra o grupo de usuários que não sofreu a mudança, assim o impacto da alteração seria visível.
Pouco tempo depois, o alerta de revenue-too-high soou indicando que o grupo de teste havia atingido um valor de receita muito superior ao usual, o que poderia indicar um problema com o experimento, afinal soava muito bom para ser verdade.
Ao investigar o que aconteceu, perceberam que não houve erro no experimento. Na verdade, a pequena alteração feita realmente gerou um aumento de 12% na receita, que correspondeu a mais de 100 milhões de dólares, somente nos Estados Unidos.
Exemplo de um teste que gerou aprendizados a partir de riscos controlados
Nem sempre o resultado de um teste se mostra favorável para a alteração. Ainda no contexto da Bing, fazer a integração do site com ferramentas de rede social (Facebook, Twitter etc.) era uma grande aposta por um tempo, muitos tinham certeza do sucesso desse projeto.
Como a Microsoft é uma empresa madura em experimentação, todos os projetos devem ser testados antes de serem colocados em produção, e com essa iniciativa não foi diferente. Passaram dois anos e todos os experimentos indicaram que a mudança não gerava valor para o negócio.
Por fim, decidiram não seguir com o projeto, sendo esse o caso de um teste que não mostrou melhoria, porém evitou altos gastos sem garantia de retorno.
O efeito acumulado dos experimentos
Começamos este texto citando um teste que demonstrou uma melhoria muito grande (12% de crescimento na receita), porém é importante ressaltar que casos como esse são raros. Em geral, cada teste colabora com um pequeno percentual para o resultado geral da empresa.
Contudo, a longo prazo esses pequenos percentuais garantem um crescimento acumulado anual significativo. Além de colaborar para o aprendizado constante sobre o que funciona para melhorar a experiência de seus usuários. Sendo assim, é importante manter a consistência na experimentação para aumentar a probabilidade de resultados e aumentar o aprendizado.
O gráfico abaixo demonstra o crescimento da receita da Bing entre 2013 a 2015 e cada quadrado sinalizado representa um experimento e o efeito em percentual que teve sobre a receita da empresa. Neste período, a empresa teve entre 15% a 25% de crescimento de receita, impulsionada pelos diversos experimentos desenvolvidos neste período.
Alguns desses experimentos tiveram receita negativa, como podemos notar em janeiro, fevereiro e julho de 2015. Esses casos nos mostram o maior poder da experimentação. Imagine que as iniciativas testadas nessas situações tivessem virado alterações nos sites. Ao invés de impactar um pequeno grupo, teria impactado toda a base de clientes da Bing. Além disso, sem um grupo controle (grupo que não sofre alteração) ficaria impossível ter visibilidade do efeito gerado por essa melhoria.
Por fim, estes testes são preciosos, pois, geram um bem valiosíssimo para qualquer empresa: aprendizado. A partir do que deu errado, podemos direcionar os esforços das próximas iniciativas e oferecer um produto cada vez mais aderente às necessidades dos usuários.
De acordo com Fareed Mosavat, diretor de produtos do Slack, “com toda a experiência do Slack, apenas cerca de 30% dos experimentos de monetização mostram resultados positivos. Se você estiver em uma equipe orientada a experimentos, acostume-se a, na melhor das hipóteses, ver 70% do seu trabalho sendo jogado fora. Construa seus processos de acordo”.
Sendo assim, precisamos desenhar nossos experimentos tendo em mente que a maioria dos testes vão falhar, afinal saber o que não dá certo para a empresa é tão importante quanto saber o que funciona, pois, assim, podemos construir um produto de forma escalável e sustentável.
Então, teste tudo o que possa ser testado, pois o que importa é a velocidade em que conseguimos aprender.
E quando digo falhar, me refiro à conclusão do teste de que a alteração/melhoria feita não apresentou resultado positivo. Afinal, um experimento só é considerado verdadeiramente um fracasso quando é identificado algum erro na elaboração como erro no desenho do teste ou na sua execução.
“As organizações que introduziram a experimentação em suas operações aprenderam que o sucesso e o fracasso atuam juntos em um equilíbrio paradoxal”
Stefan Zweig (A Cultura da Experimentação)
A armadilha da intuição
No livro Rápido e Devagar, Duas Formas de Pensar, Daniel Kahneman demonstra como nossa forma de pensar molda nossos julgamentos. Observou que “se você seguir sua intuição, terá muitas chances de errar ao classificar equivocadamente um evento aleatório como sistemático. Temos uma grande tendência a rejeitar a ideia de que muito do que vemos na vida é aleatório”.
Neste livro aprendemos sobre como tendemos a ver significado em eventos não relacionados, pois nosso raciocínio é baseado em nossas experiências e crenças.
O autor cita também que se ouvirmos uma mentira com frequência, tendemos a acreditar, e confundimos causalidade com correlação. Ou seja, fazemos mais ações com base em coincidências do que com fatos estatisticamente garantidos. Por fim, estamos propensos a superestimar a probabilidade de eventos improváveis.
Ou seja, não é da nossa natureza ter a facilidade em prever o comportamento do usuário e é por isso que a experimentação se torna peça fundamental na definição dos caminhos a serem tomados para o sucesso de uma empresa.
“One accurate measurement is worth more than a thousand expert opinions”
Admiral Grace Hopper
Em suma, o método de experimentação pode, através de dados e métodos estatísticos, nos ajudar a verificar se mudanças no produto realmente geraram impacto na percepção do usuário.
E para isso devemos ter um olhar crítico aos resultados, pois, como dito anteriormente, temos que atentar para problemas como o viés de confirmação, já que tendemos a aceitar com mais facilidade resultados que reforçam nossas crenças.
Investir em experimentação é investir em inovação
Investir no processo de experimentação faz parte da jornada em busca de uma cultura data driven, pois tomar decisões com base em testes também significa agir orientado por dados.
A experimentação também ajuda com otimizações que podem não ser óbvias mas podem fazer uma grande diferença e, além disso, gera muitos aprendizados. Para Jeff Bezos, “fracasso e invenção são gêmeos inseparáveis. Se você já sabe o que vai funcionar, não é um experimento”.
O que é experimentação?
Agora que estamos convencidos sobre a importância da experimentação, podemos entender este método melhor.
Você já deve ter escutado algumas vezes a frase “correlação não implica causalidade”. A correlação se refere ao grau de relação entre duas variáveis, quando o comportamento de uma variável está relacionado ao comportamento de outra.
Por exemplo, podemos verificar haver correlação entre salário e anos de estudo, já que, em uma análise geral de pessoas ativas profissionalmente, quanto maior a quantidade de anos de estudos, maior tende a ser o salário do profissional.
Contudo, não podemos afirmar que basta garantir longos anos de estudo para se obter um alto salário. Ou seja, a correlação não implica na definição da causa de um evento.
Entender a relação de causa e efeito entre variáveis é de grande valor, principalmente quando pretendemos avaliar se a mudança do layout de um site causou um aumento no engajamento dos usuários, por exemplo. Para isso, a experimentação pode ajudar.
A experimentação é um método científico que, em condições controladas, consiste na observação e classificação de um determinado fenômeno a partir de uma hipótese. Sendo assim, um método muito usado para validar uma estratégia de produto, ideias ou otimizar performance.
Existem várias formas de se fazer experimentação, através de diversos métodos, sendo o Teste A/B o mais conhecido e mais simples deles.
Neste caso, após definir a população de interesse, separamos dois grupos de usuários: grupo controle (variante A) não vai sofrer alterações e o grupo teste (variante B) terá uma modificação, o que queremos testar.
A área médica foi a primeira a usar a experimentação. Todo mundo já ouviu falar em placebo, uma substância ou tratamento oferecido como se possuísse algum ativo mas que não afeta o organismo.
A pílula de farinha ou injeção de soro são muito usados como placebo. O experimento consiste em oferecer o placebo a um grupo e o remédio verdadeiro a outro grupo. Ao final do período de teste, é avaliado se houve diferença na saúde do paciente, ao comparar o grupo que tomou o remédio verdadeiro e aquele que tomou o placebo.
Exemplo de teste A/B em um produto digital:
O departamento de Marketing de uma loja de roupas deseja aumentar as vendas em seu site oferecendo aos seus usuários cupons de desconto. Porém, existe a preocupação de que o campo de cupom de desconto possa prejudicar a receita total ao gerar uma distração no usuário, que talvez saia do site em busca de cupons promocionais e acabe não finalizando a compra.
- Hipótese a ser testada: adicionar um campo de cupom de desconto no carrinho vai reduzir a receita da loja.
- População de interesse: usuários que iniciaram o processo de compra.
- Métrica a ser testada: receita por usuário.
De todos os usuários que iniciarem o processo de compra, parte poderá visualizar um campo para inserir cupom de desconto (grupo teste) e outra parte não terá acesso ao campo de cupom de desconto (grupo controle) ao efetuar a compra.
Uma semana depois os resultados foram analisados. Através de cálculos estatísticos, verificou-se que o grupo teste apresentou uma receita inferior à do grupo controle.
Sendo assim, há evidências de que incluir o campo de cupom de desconto no momento do pagamento pode prejudicar a receita da loja. A partir disso, os stakeholders do projeto possuem insumos para chegar a uma decisão final sobre a continuidade do projeto.
Experimentação na Passei Direto
Se você é nosso usuário, pode perceber que estamos constantemente melhorando nosso produto, desde detalhes no design à forma como recomendamos nossos materiais. Essas alterações são feitas após testes controlados onde, baseado em dados, podemos ter maior clareza sobre o que agregará maior valor à experiência dos nossos usuários.
Convidamos você também a mergulhar nesse universo da experimentação e descobrir conosco as possibilidades dessa abordagem. Siga a página da Passei Direto no Linkedin e Medium para acompanhar nossos próximos textos sobre experimentação.
