Cultura de Experimentação: como colocar em prática

Recentemente na OLX Brasil, decidimos montar um clube do livro na tribo de Autos Privado (Julie Cransac, Iara Duarte Mainates, Mariani Cavalini) em que atuamos para aprendermos um pouco mais sobre as diferentes áreas de Produto. Iniciamos essa jornada com o livro “A Cultura da Experimentação” de Stefan Thomke.

Neste livro, o autor busca apresentar os principais benefícios de uma forte cultura de experimentação dentro de empresas, sejam elas pequenas ou grandes, de tecnologia ou não.

Ao longo da leitura, o grupo se reuniu para discutir os temas abordados em cada capítulo e, principalmente, para comparar com nossa experiência dentro da OLX Brasil e do time. Observamos nesses encontros alguns pontos muito positivos da nossa cultura, mas também levantamos algumas questões que, como time, gostaríamos de aprimorar.

Para melhor contextualizar leitores que não estão habituados à cultura de experimentação em empresas de Tecnologia, uma das formas mais recorrentes de teste é conhecida como teste AB. Ao longo do texto iremos nos referir a essa metodologia como teste AB ou só AB. Ela consiste de um teste em que dividimos nossos usuários de forma aleatória e parte deles, grupo A ou controle, observam a versão atual da página em teste enquanto outro grupo, B ou variante, observam uma página com alguma modificação. Comparando o comportamento de quem viu a página A contra a página B podemos concluir qual das duas versões é melhor.

Cultura de Experimentação na OLX Brasil e Incentivo

Um dos pontos centrais do livro é o reconhecimento, por parte da alta gestão da empresa, do valor da experimentação contínua. Sem o apoio da diretoria, os times podem não ter uma ferramenta confiável para realizar seus testes, abalando a confiança da empresa nos resultados obtidos. Contudo, uma boa ferramenta exige investimentos contínuos da empresa em conhecimento e manutenção do sistema.

Este foi um dos pontos que mais observamos positivamente na OLX Brasil, em que a liderança não só incentiva que os times realizem experimentos, como investiu em um time central para atuar nesse tema. Além disso, mesmo antes de 2018, a OLX Brasil já possuía uma ferramenta interna para realizar os testes. Essa ferramenta permite que os complexos processos estatísticos necessários para se avaliar um teste AB de forma correta e confiável fossem automatizados pelo time central simplificando as etapas de experimentação dos times de produto.

Outro tema recorrente no livro é a democratização dos testes AB pela empresa. O autor reforça em várias passagens que qualquer colaborador pode ter uma boa ideia e, em empresas que valorizam essa democratização, o volume de boas ideias com pequenos ganhos acaba gerando mais impacto que grandes mudanças.

Na OLX Brasil, devido à plataforma central, a implementação e a avaliação dos testes é simplificada e distribuída por todos os times de produto. Habilitando, assim, um sistema confiável e democrático na empresa e permitindo termos entre 200 e 300 testes AB rodando simultaneamente na OLX Brasil. Contudo, ainda precisamos implementar algumas modificações em código para que o AB seja efetivo, o que limita a democratização aos desenvolvedores.

Um terceiro ponto levantado no livro é a importância de aprender com os testes. Se você já sabe que vai funcionar, não é um experimento, não tem aprendizado. Além disso, mesmo quando testamos algo desconhecido, é importante entender as condições de teste para poder levantar causas e efeitos corretos e relevantes. Se o avião está no chão, o teste de paraquedas não representa bem as condições reais de uso e pode chegar ao resultado absurdo de que mesmo sem paraquedas, ninguém morre ao pular do avião (resumo do exemplo do livro).
Além disso, vale lembrar também que um experimento não deve servir apenas como um “aumenta ego” do time — isto é, não deveríamos executar um teste ou experimento se já sabemos a resposta, ou se não estamos dispostos a aceitar o resultado que os dados nos mostram.

Na OLX Brasil esses ensinamentos se refletem no planejamento de um experimento. Recomendamos que antes de iniciar um teste o time planeje quais métricas acompanhar, quais os possíveis resultados e o que iremos aprender em cada um desses cenários. Além disso, recomendamos rodar um experimento mesmo para ideias que já funcionam em outras empresas, pois as condições OLX Brasil costumam ser diferenciadas dos demais concorrentes, levando a resultados surpreendentes.

O copo meio cheio também está meio vazio

Apesar de todo o suporte da alta gestão e da nossa incrível ferramenta interna, aqui na OLX Brasil ainda temos um caminho a ser percorrido frente a algumas ideais apresentados no livro — e como nosso valor é #Experimentamos, Aprendemos e Inovamos estamos sempre dispostos a trazer (e também ser) a mudança.

Por ser uma empresa de tecnologia com grande crescimento, a OLX Brasil tem expandido sua estrutura com times mais especializados em temas verticais. Apesar do grande número de times ter proporcionado mais paralelismo e mais pontos de atuação, trouxe também desafios não previstos. Percebemos a necessidade de, por exemplo, reforçar as boas práticas de experimentação em nossos processos de onboarding e nos treinamentos recorrentes, tendo em vista escalar melhor com o maior volume de pessoas.

Outro impacto do rápido crescimento da empresa foi o número de assuntos correlatos ou dependentes. Muitas vezes precisamos envolver 3 ou 4 times para viabilizar um teste e isso acaba desacelerando o processo. Como leva mais tempo para ativar o teste, acabamos aprendendo menos do que gostaríamos em um trimestre.

Experimentos no time de experimentação

O livro trouxe poucas reflexões sobre a situação atual da empresa, em que temos muitas dependências e a necessidade de uma grande e constante reciclagem do conhecimento. A maior parte das sugestões são para empresas menores e mais novas. Mas nem tudo está perdido, pois ainda podemos fazer experimentos com nossa cultura!

Segundo Aristóteles: “Somos o que fazemos repetidamente. A excelência, portanto, não é um ato, mas um hábito”. Precisamos planejar nossos hábitos e cultura para então alcançarmos a excelência em experimentação. O primeiro passo foi reconhecer os desafios internos, o segundo é levantar hipóteses e mapear as condições de contorno para, então, podermos implementar em times teste. Dessa forma, conseguimos aplicar a metodologia de experimentação para encontrar o melhor conjunto de práticas para os times de produto.

Como um bom teste AB, não sabemos ainda qual solução vai gerar ou não resultados. Sabemos que iremos falhar muitas vezes e que mesmo os acertos vão gerar ganhos pequenos. Contudo, essa é a filosofia que nos move, a da experimentação, vários pequenos aprendizados que somados geram um grande impacto no longo prazo.

Onde chegamos?

Ao final do nosso primeiro livro pudemos encontrar vários insights, ideias de como estamos no caminho certo e também de como podemos melhorar cada vez mais algo tão valoroso para nós: a nossa cultura de experimentação.
Depois da leitura, conseguimos entender o valor da experimentação para além do famoso “ter certeza de algo” e sim para eliminar riscos, trazer novas ideias e ter o hábito de iterar sobre experimentos e aprender de forma contínua.

Por isso, fica aqui a nossa reflexão trazida para vocês em forma de texto — esperamos que inspire você também a experimentar cada vez mais!