Experimentos em produto: estudos e aprendizados
Este artigo busca consolidar os principais aprendizados sobre os estudos que realizamos na Sigalei sobre a experimentação em produto e as nossas primeiras aplicações da metodologia na prática, que culminaram na construção de um template de estruturação dos experimentos.
Por quê experimentar?
Todo mundo que já teve alguma experiência com a criação de um produto digital sabe o quanto se trata de um processo complexo e desafiador, que envolve construir uma solução que atenda às necessidades de um segmento de clientes, seja viável para o negócio e funcionalmente possível em um futuro próximo.
Para isso é necessário aprender rápido e reduzir ao máximo as incertezas acerca do valor que está sendo entregue antes de lançar um produto, uma funcionalidade ou uma melhoria na mão dos usuários.
Neste sentido, segundo Marty Cagan, autor do livro Inspirado, uma prática fundamental para um time de produto é realizar um processo de discovery, com o objetivo de entender melhor o problema ou as necessidades envolvidas, identificar os jobs-to-be-done que as pessoas estão tentando realizar, explorar as soluções atualmente utilizadas e coletar o máximo de evidências possível que indiquem que a sua proposta de solução irá resolver o problema de forma satisfatória e com um diferencial de mercado.
Entretanto, para descobrir se solução proposta realmente tem potencial para se transformar em um ótimo produto, é preciso colocar os usuários reais em contato com as suas ideias o mais cedo possível e com a maior frequência possível.
Do mesmo modo, uma vez que o produto é lançado, é fundamental entender como o seu conjunto de usuários está interagindo com ele e se ele desperta o interesse em novos potenciais clientes.
Dessa forma, os experimentos são uma uma maneira de garantir uma testagem constante e gradual tanto na etapa de desenvolvimento da ideia de solução quanto após o seu lançamento.
Segundo Eric Ries, autor do livro A Startup Enxuta, o experimento não deve ser encarado como uma pesquisa teórica, mas sim como uma primeira versão do produto.
Dessa forma, quando o produto estiver pronto para ser distribuído de modo amplo, você já terá mais clareza sobre o comportamento de uso dos seus clientes e terá mais clareza do que precisa ser desenvolvido.
Principais tipos de experimento
Os experimentos podem ser qualitativos ou quantitativos. Os experimentos qualitativos têm como objetivo aprender rapidamente e identificar oportunidades de ação, enquanto os experimentos quantitativos têm a finalidade de coletar dados e evidências.
Segundo Marty Cagan, enquanto os experimentos quantitativos nos mostram o quê está acontecendo, os quantitativos nos dizem o porquê.
Desta forma, um bom processo de discovery deve conseguir encontrar a combinação correta entre os dois tipos de experimento, dependendo da quantidade de tempo, dos recursos disponíveis e dos objetivos do negócio.
Separamos aqui alguns dos 44 tipos de experimentos listados no livro Testing Business Ideas, de David Bland.
Experimentos qualitativos
- Entrevistas com usuários: uma série de entrevistas com clientes e potenciais clientes focada em explorar os jobs-to-be-done, dores, expectativas e a jornada de uso das soluções atuais, bem como a satisfação com elas.
- Análise do suporte técnico: usar os dados dos canais de atendimento ao cliente para descobrir dores não atendidas e ganhos não identificados do produto.
- Um dia na vida: acompanhar um usuário realizando as suas tarefas diárias para identificar jobs-to-be-done, dores e expectativas de ganho.
- Teste de usabilidade: construção de um protótipo navegável que simula a experiência do produto pronto, para verificar como o usuário interage com ele e se consegue atingir os objetivos desejados.
- MVP Concierge: versão enxuta do produto realizada de forma manual e personalizada, priorizando um lançamento rápido para colher aprendizados, validar hipóteses e crescer sob demanda.
- Mágico de Oz: versão enxuta do produto realizada de forma manual, porém sem que o usuário saiba que o processo está sendo executado por uma pessoa, pensando que ele de fato está interagindo com um sistema digital.
Experimentos quantitativos
- Fake door: medir o interesse em uma funcionalidade do produto sem precisar codificá-la, criando apenas a sua parte visual, como um botão, uma opção, um pop-up, ou uma seção que não estão ativos. A ideia é contabilizar quantos usuários tentaram acessar a funcionalidade.
- Campanha nas redes sociais: criar mensagens de divulgação para medir a resposta do mercado em relação a uma hipótese de dor, job-to-be-done ou solução durante um período de tempo.
- Landing Page: criar uma página web simples que busque explorar a proposta de valor da sua hipótese de solução com um “call-to-action” para verificar quantas pessoas se interessarão.
- Teste A/B para discovery: criar uma versão alternativa e não escalável de uma funcionalidade que será exibida a apenas 1% dos usuários (sem que eles saibam qual versão eles estão utilizando) para que possa ser monitorada em comparação com o uso da versão original.
- Mapa de calor: representação gráfica que mostra o resultado do monitoramento de cliques, velocidade de rolagem, para onde o usuário olhou e o que foi ignorado em uma página, apontando para as suas áreas “quentes” e “frias”
Como fazer um experimento?
Assim como em uma pesquisa acadêmica, um experimento deve contar com uma hipótese, ter objetivos e seguir uma metodologia para se testar empiricamente e atingir um resultado.
Eric Ries afirma que, da mesma forma que a experimentação científica é permeada pela teoria, a experimentação em produto deve ser orientada pela visão da empresa.
Após muitos estudos sobre o tema e algumas iterações, chegamos a uma estrutura padrão para construir e executar os nossos experimentos na Sigalei, que consiste nas etapas abaixo.
1. Hipótese Principal
De acordo com Marty Cagan, existem quatro tipos de hipótese que podem ser testadas:
- Hipótese de valor: entender se os clientes irão querer comprar ou utilizar a sua solução;
- Hipótese de usabilidade: entender se os usuários conseguirão intuitivamente usar a sua solução, atingindo o objetivo esperado;
- Hipótese de praticabilidade técnica: entender se é possível de fato construir a solução imaginada com a tecnologia e os recursos disponíveis;
- Hipótese de viabilidade de negócio: entender se a solução proposta é escalável e sustentável para o negócio
Nós procuramos escrever a hipótese sempre no formato de uma afirmação, iniciando com as palavras “Nós acreditamos que…” e completando com o que esperamos que aconteça ao final do nosso experimento.
Um exemplo (fictício) de hipótese de usabilidade para um experimento do tipo “teste de usabilidade” poderia ser:
“Nós acreditamos que ao utilizar a funcionalidade de agenda, todos os nossos usuários conseguirão criar e editar eventos”.
2. Hipótese Específica
Em muitos casos, desenvolvemos mais de um tipo de experimento ligado a uma mesma hipótese de solução. Por isso, elaboramos uma hipótese específica para cada um deles.
Seguindo o mesmo exemplo acima, uma hipótese específica poderia ser:
“Nós acreditamos que ao criar um evento, todos os nossos usuários conseguirão configurar a data, horário e adicionar as pessoas participantes”
3. Time
Antes de iniciar um experimento é importante definir quem serão as pessoas que farão parte do time de criação e execução do mesmo, realizando um alinhamento inicial para a definição de papeis e tarefas.
4. Responsável
Por mais que o experimento seja executado em um time de forma conjunta, é sempre muito importante eleger uma pessoa que será a responsável por garantir que todas as tarefas necessárias para a criação do experimento estão sendo executadas e também para puxar as conversas sobre os resultados obtidos.
5. Período de realização do experimento
Defina o período de tempo em que o experimento será executado. Lembre-se de que o processo de experimentação precisa ser ágil e, por isso, os experimentos não devem ultrapassar 15 dias.
Se o seu experimento precisa de um tempo muito longo para execução, talvez seja importante tentar reduzir o escopo ou quebrá-lo em etapas mais curtas.
6. Descrição do experimento e fluxo de execução
Descreva primeiro qual o tipo de experimento que será realizado para testar as hipóteses geral e específica e, em seguida, quais são as etapas de interação do usuário com o seu experimento.
Ainda no exemplo dado anteriormente:
Descrição do experimento:
Para verificar as hipóteses, vamos construir um protótipo navegável de alta fidelidade que representa o fluxo de criação de um evento na agenda, que será testado com sete usuários.
Fluxo de execução:
1) Perguntas de contextualização do usuário no problema;
2) Apresentação de um cenário fictício e de um objetivo a ser cumprido no protótipo;
3) Usuário acessa o protótipo que mostra a página principal;
4) Usuário acessa o ambiente de agenda e clica em “criar evento”;
5) Usuário configura nome, data e horário do evento;
6) Usuário adiciona os participantes do evento;
7) Usuário clica em “finalizar” e recebe o feedback de que o evento foi criado com sucesso;
8) Perguntas finais sobre a experiência de uso do protótipo.
7. Passos para viabilização do experimento
Liste o que precisa ser feito para que o experimento seja executado, se possível incluindo um responsável para cada tarefa e um prazo para a sua execução.
Um ponto importante é que o experimento precisa ser construído de forma rápida e objetiva. Se a sua construção é muito demorada, a agilidade de se realizar os experimentos para testar hipóteses deixam de fazer sentido.
Dando continuidade ao nosso exemplo fictício do protótipo de agenda, os passos para viabilizar o experimento poderiam ser:
1) Desenhar wireframes do protótipo
2) Desenhar protótipo navegável
3) Recrutar sete usuários para teste
2) Agendar entrevistas
Um outro ponto importante nesta etapa é que é imprescindível saber com quem testar. O produto tem um ciclo de adoção que compreende vários tipos de usuário que passam a utilizá-lo em momentos diferentes da sua maturidade.
Por isso, é muito importante conhecer os perfil principais dos seus usuários para selecionar o grupo correto, dependendo do que precisa ser testado e verificado.
8. Métricas, resultados-chave e objetivos
Para os experimentos quantitativos, as métricas são utilizadas para estabelecer marcos que nos ajudam a entender se a nossa hipótese foi validada ou não.
Por exemplo, para um experimento do tipo “landing page”, a métrica normalmente utilizada para verificar uma hipótese é a quantidade de usuários que clicaram no “call-to-action” sugerido.
Já os resultados-chave, são os resultados mínimos que, ao serem atingidos, já validam a hipótese testada. Uma dica aqui é que é importante que esses resultados sejam realistas, porém ambiciosos.
No caso da quantidade de cliques em uma landing page, é complicado basear o sucesso do seu experimento no resultado de 100% dos visitantes clicando em um “call-to-action”, pois isso dificilmente vai acontecer. Porém, ao mesmo tempo, baixar esse resultado-chave para 50%, dependendo do que você deseja testar, pode ser muito fácil de ser atingido e portanto pode não validar de fato a sua hipótese de valor.
Para os experimentos qualitativos, já que muitas vezes as métricas quantitativas podem não trazer resultados significativos, podemos definir objetivos a serem atingidos com a execução do experimento.
Voltando ao nosso teste de usabilidade, alguns objetivos que poderiam ser definidos são:
Identificar possíveis dificuldades de usabilidade no fluxo de criação de um evento;
Entender se o feedback proposto é suficiente para que o usuário sinta segurança de que seu evento foi criado com sucesso.
9. Listagem dos resultados obtidos e aprendizados
Uma vez que o experimento foi finalizado, liste os resultados obtidos e os principais aprendizados e oportunidades identificadas para que isso fique documentado e possa ser novamente acionado em pesquisas e experimentos futuros.
É importante que os experimentos fiquem documentados em um local facilmente acessível não apenas para o time de produto que o realizou, mas para toda a organização, já que, muitas vezes, essa informação pode ser útil para outras áreas e outros times.
Além disso, um processo de experimentação transparente faz com que todos consigam entender de onde saímos e para onde estamos caminhando em termos de desenvolvimento de produto.
Conclusões e próximos passos
Um experimento não faz sentido se ele não for acionável, ou seja, ele deve sempre levar a uma tomada de decisão, seja ela encaminhar a funcionalidade testada para design e desenvolvimento, explorar melhor o problema, rever a hipótese de solução ou mesmo realizar um novo ciclo de experimentos para avançar no desenvolvimento da ideia.
Por isso, ao finalizar um experimento, não deixe de definir com o time quais serão os próximos passos no seu processo de produto!
Obrigada pela leitura!
