Nuggets de Experimentos: como tornar acessível os resultados de seu discovery

Sabemos que o discovery é uma etapa fundamental do processo de desenvolvimento de produto. Ainda assim, existe uma grande dificuldade em armazenar os resultados e aprendizados gerados pelo processo de forma eficaz e acessível, para que a equipe e outras áreas da empresa possam consultar as informações posteriormente.

Afinal, não queremos que mais de um time tenha retrabalho e faça o mesmo experimento no futuro, para obter o mesmo aprendizado e só então perceber (ou não) que ele já havia sido feito, certo?

Nesse artigo, quero compartilhar a abordagem que criamos para resolver esse problema e deixar disponível um template para ser usado, caso você esteja passando pela mesma situação.

Na Revelo, temos uma cultura de discovery de ter ao menos um experimento por squad por semana (se quiserem saber mais, o Will já fez um ótimo artigo sobre como nos organizamos).

Isso significa que, se um squad fizer de um a três experimentos por semana, ele pode chegar a fazer até 144 experimentos por ano. Deu para ter ideia do tamanho do problema que estávamos enfrentando? Como podemos salvar todo este conhecimento e passá-lo adiante?

Além disso, em 2020, visando aumentar a participação do squad no processo de Discovery, decidimos usar o Miro para salvar os experimentos e seus resultados — o que era ótimo para permitir interações dinâmicas com o time, mas que deixava muito a desejar em termos de organização.

Aqui na Revelo amamos o Miro. Apesar disso, nem tudo nele funciona perfeitamente. Na foto, cada quadrado representa um experimento realizado.

Foi então que lembramos do método chamado de “Atomic Research”, do Thomas Sharon, que propõe a quebra do resultado de pesquisas em micro partes, e chama cada aprendizado de Nugget (ou “Pepita de Ouro”).

E ao registrar os Nuggets, geramos uma fonte centralizada de conhecimento sobre os usuários, e que pode ser consultada a qualquer momento, por qualquer pessoa da empresa.

Imagem retirada do seguinte artigo do time de design do Quinto Andar. Excelente texto que serviu de inspiração para gente e que recomendo para quem quiser saber mais sobre o Atomic Research.

Com essa inspiração eu, o Arthur (Product Design) e o nosso squad de App de Candidatos tivemos o insight de adaptar esse método, para salvar não apenas os aprendizados de pesquisa mas também aqueles provenientes de experimentos e análises de dados — chamamos isso de Nuggets de Experimento.

Assim conseguimos resolver o problema de centralização e dificuldade de acesso às informações que enfrentávamos.

E agora vou compartilhar com vocês como fizemos :)

Como fazemos aqui na Revelo 🍗

Tá, mas o que seria um nugget no nosso caso?

Para começar, a primeira coisa que definimos foi que um Nugget de Experimento deve ser:

Uma frase que resuma um aprendizado vindo de uma pesquisa, análise de dados ou experimento que gostaríamos de compartilhar com outros times.

Ter essa definição foi importante para sabermos que tipo de informação, origem e formato deveriam ser registrados, garantindo uma padronização e uma barra mínima de qualidade no documento. A escrita também deve ser sempre direta, curta e relacionada a sua origem.

Por exemplo: em um teste A/B no qual queríamos validar se enviar uma comunicação incentivaria candidatos com perfil incompleto a finalizarem o preenchimento de suas informações, e que teve como resultado um aumento de 50% no número de profissionais com perfil preenchido frente o grupo que não recebeu a comunicação, escreveríamos no Nugget:

“Enviar uma comunicação pedindo para candidatos com perfil incompleto completarem seus dados faz com que eles finalizem o cadastro de informações” Nugget de Experimento Fictício

Como criamos nossa coleção de Nuggets então?

Os Nuggets devem ser criados no momento em que um experimento, pesquisa ou análise é finalizado, e ficam registrados em uma tabela, com um campo dedicado para vincular o aprendizado à sua origem.

De ferramenta, decidimos usar o Notion como a base de informações do squad, e nele começamos a documentar semanalmente novos experimentos e anotar suas lições.

Fizemos um template para você se inspirar ou testar na prática o nosso processo de organização. Use à vontade 🙂

Primeiro passo: Comece escrevendo seus experimentos, pesquisas ou análises

O primeiro passo é escrever o que estamos querendo aprender sobre o nosso produto ou usuários, colocando dados gerais sobre o Experimento, Pesquisa ou Análise de origem.

Experimentos 🧪

Experimentos são criados para ajudar a validar ou invalidar as hipóteses, que por consequência validam ou invalidam as apostas feitas rapidamente, reduzindo o risco de criar features complexas com muita incerteza. De modo que ao ser finalizado ele gera um aprendizado e também pode gerar uma nova hipótese ou ir para delivery.

Existem vários tipos de técnicas de experimentação, por exemplo: “testes A/B”, “fake-door”, “testes de usabilidade”, etc. Cada um deles deve ser usado de acordo com o contexto ou incerteza que uma aposta ou feature está inserida (para quem quiser saber mais, recomendo esses dois livros sobre o assunto: Validando Ideias de Negócios e Validating Product Ideas do mesmo autor do Atomic Research).

Na Revelo, definimos um framework que usamos para montar os nossos experimentos. Ele consiste em:

Antes do experimento ir pro ar:

• Título: frase curta referente ao nome do experimento
• Estado: em que estado de execução se encontra o experimento. Exemplo: “Em construção”, “Em Andamento”, “Finalizado”…
• Aposta: sobre qual iniciativa ou aposta esse experimento se refere;
• Pergunta-chave: uma pergunta que resume o que queremos aprender;
• Assumption: o que eu já sei? São dados ou suposições que conheço sobre o problema que estou atacando;
• Hipótese: a mudança que vai gerar um determinado resultado que deve se conectar ao que queremos aprender. Usamos o seguinte template: “fazer (tal coisa) vai gerar (tal resultado)”;
• Método: a maneira como iremos validar ou invalidar nossa hipótese. Pode ser um teste a/b , fake-door, concierge e etc…
• Critério de sucesso: qual o resultado quantificável que espero. Exemplo: 2 empresas interessadas ( aumento de 1% de conversão).
• Segmentação: definição de público que irá participar do experimento. Exemplo: empresas que estão interessadas em contratar Product Managers
• Cenários: O que iremos fazer caso o experimento valide ou invalide a hipótese. Apesar de ser opcional, esse exercício ajuda calibrar expectativa e reduzir a tomada de decisão após o resultado.

Após a finalização do experimento:

• Resultado: qual foi o resultado quantificável do experimento;
• Aprendizado: link da frase que resume o resultado e o que aprendemos com o experimento. É justamente o link que vincula o experimento ao que preencheremos
• Novas hipóteses ou próximos passos: o resultado experimento gerou uma nova hipótese que precisa ser validada? Vamos fazer um novo experimento em seguida? Iremos levar para delivery?

Pesquisa ou Análises 📊

No caso de pesquisas e análises de dados, procuramos escrever os dados gerais e vincular com um link de onde está salvo o documento com os resultados detalhados, assim como seus aprendizados. Este documento tem os seguintes parâmetros:

• Nome: Nome do estudo;
• Estado: em que estado de execução se encontra o experimento. Exemplo: Em construção, Em Andamento, Finalizado…
• Descrição: descrição da pesquisa ou análise, contemplando sua origem, objetivos e perguntas a serem respondidas;
• Segmentação: definição de público estudado;
• Squad: qual squad responsável por gerar o aprendizado;
• Aprendizados: link da frases que resumem o aprendizado que será, podendo ser um dado, fala do usuário e etc. É justamente o link que vincula o experimento ao que preencheremos na seção de Nuggets;
• Link: link do documento com os resultados mais detalhados;

Após a finalização, escreva seus Nuggets 🙏🏿

Agora é a hora em que a magia acontece. Após a finalização do seu experimento, pesquisa ou análise, registre na tabela de Nuggets cada aprendizado gerado pelo seu processo de discovery, de acordo com os seguintes parâmetros:

• Aprendizado: Frase que resume o aprendizado gerado vindo de uma pesquisa, análise de dados, ou experimento que gostaríamos de compartilhar com outros times
• Origem: qual o experimento, pesquisa ou análise que gerou esse aprendizado;
• Momento da Jornada: qual etapa ou momento da jornada o estudo foi realizado;
• Squad: qual squad responsável por gerar o aprendizado;
• Aposta: qual a aposta por tras daquele experimento;
• tags: apesar de opcional ajudam muito resumir o experimento e facilitar a busca depois

É importante notar que o mesmo experimento, pesquisa ou análise pode e muitas vezes gera mais de um aprendizado.

E a interatividade que tínhamos no Miro como ficou?

Na Revelo, o squad se reúne semanalmente em uma cerimônia que chamamos de Planning de Produto, em que discutimos com o time as métricas, os experimentos realizados e os que faremos a seguir.

De fato, uma das principais vantagens que tínhamos ao falar dos experimentos no Miro era que a ferramenta ajudava bastante a permitir que todos os integrantes do squad compartilhassem suas opiniões sobre o que iríamos fazer, o que gerava discussões riquíssimas.

Um dos problemas que encontramos quando mudamos para essa metodologia e para o Notion foi que paramos de ter tantas discussões, e nossas reuniões passaram a ser muito mais apresentações em que o responsável mostrava pro time os experimentos e resultados das nossas métricas.

Para incentivar a participação do time, adicionamos na nossa metodologia uma seção em que cada membro do squad deve demonstrar um sentimento e fazer um comentário sobre o experimento, para discutirmos depois.

Funcionou muito bem: voltamos a ter debates valiosos entre o squad, o que no final do dia gera experimentos ainda mais ricos. 🙌🏿

As vantagens de se utilizar o processo

Assim como os benefícios da metodologia de Atomic Research e Nuggets originais, as principais vantagens que encontramos nesse processo são:

• Resultados de experimentos, pesquisas e análises de dados não se perdem e ficam acessíveis para serem consumidos “on demand” por qualquer um: seja ele desenvolvedor, designer, PM, cientista de dados, funcionário ou stakeholder;
• Facilidade ao acesso à informação, o que é especialmente importante no contexto que estamos vivendo de trabalho remoto, e no qual a interação entre times pode ser um grande desafio;
• Poupamos retrabalho de times, evitando que realizassem o mesmo experimento para chegar em resultados semelhantes;
• Conseguimos cruzar dados de estudos realizados em momentos diferentes, por squads que estão em contextos diferentes;

O método de registro de aprendizados aqui descrito está em constante evolução e foi criado pensando no contexto em que o time de Produto, Design da Revelo e principalmente o squad do aplicativo de candidatos estão inseridos. Antes de implementá-lo, sugerimos que analise as circunstâncias do processo de discovery que sua equipe está vivendo e faça adaptações conforme necessário.

Para usar o template que fizemos basta acessar esse link aqui.
Já usa algo parecido na sua empresa ou começou a testá-lo? Conta pra gente como foi o processo! 🙂

Um agradecimento especial ao Arthur Braga (designer do squad do Aplicativo de Candidatos), com quem criei a estrutura apresentada no artigo e à Carolina Ribeiro, que nos apresentou o Atomic Research em um workshop na Revelo

Quer se especializar na área de tecnologia? Conheça o Revelo UP — o programa de incentivo a cursos da Revelo! Acesse aqui e saiba mais.

Referências

Will Sertório, UX Collective. Batendo o bumbo: boas práticas para empoderar times de produto e design.

Gabriela Bassa, Quinto Andar Design. Nuggets: como democratizar pesquisas de design.

Tomer Sharon. The atomic unit of a research insight.

Tomer Sharon. Validating Product Ideas.

Alex Osterwalder, David J. Bland. Validando Ideias de Negócios.