Experimentação em app: como testar sem precisar lançar uma nova versão na loja - Parte 1
Apesar dos aplicativos serem um canal que está no bolso do usuário final, um dos seus principais problemas é a complexidade tecnológica envolvida em seu ciclo de atualizações nas lojas, que deixa todo o processo de experimentação e validação de ideias mais demorado. Nesta série de artigos demonstrarei de forma simplificada como lidamos com este problema na Revelo.
Na 1ª parte apresentarei um manual prático de experimentos e como realizá-los em seu app. Já na 2ª parte, detalharei como validamos a ideia de uma plataforma de mentoria gratuita em nosso app utilizando essa metodologia.
Antes, um pouco de contexto
O app da Revelo foi lançado em março de 2020 e teve como principal aposta trazer uma nova forma de interação dos usuários com a plataforma, além da versão web já previamente consolidada. Após alguns meses, começamos a notar uma melhoria no engajamento dos usuários com o produto, que resultou em taxas de respostas 4x mais rápidas se comparado com os candidatos que utilizavam o produto na web.
Mas este resultado gera um custo. O desenvolvimento de aplicativos tende a ter um tempo de implementação mais elevado se comparado com outras plataformas, devido a:
- Tecnologia — Além das dificuldades técnicas envolvidas no back-end e na construção da interface e deeplinks, o custo da mão de obra envolvida no desenvolvimento é mais elevado considerando que equipes distintas são envolvidas na construção de apps para IOS e Android. É possível ganhar velocidade utilizando tecnologias híbridas, como Douglas mostrou muito bem em seu artigo sobre como tomamos a decisão de migrar o app da Revelo para o flutter. Mas ainda assim, a velocidade de desenvolvimento de versões mobile e web ainda tem suas diferenças
- Ciclo de atualizações — Todo app tem seu ciclo de atualizações nas lojas (PlayStore ou AppStore) e passam por um processo de validação antes de irem para o ar. Dentro deste processo, temos a variável da loja aceitar a sua versão e esperar que os usuários a baixem para ter acesso à nova funcionalidade. Isso pode levar dias até a entrega do serviço/produto na mão do usuário, o que deixa todo o processo de experimentação e validação de novas ideias mais demorado.
Na Revelo, temos uma cultura de ‘discovery’ de ter ao menos um aprendizado na semana, seja por experimentos de funcionalidades ou por pesquisas (se quiserem saber mais, o Will, Product Design Manager na Revelo fez um ótimo artigo sobre). Então, nos deparamos com um desafio:
Como podemos experimentar uma nova funcionalidade de forma mais ágil dentro do contexto de desenvolvimento de app?
Mas calma… o que é um experimento?
“Os experimentos são o meio de reduzir o risco e a incerteza de sua ideia de negócio” — David J. Bland & Alex Osterwalder
Dentro da Revelo, temos a cultura de realizar experimentos com objetivo de reduzir as incertezas e riscos em nossos projetos. Em nosso Playbook, detalhamos o que são os experimentos e como fazemos para registrá-los afim de defender as nossas ideias com o time de tecnologia e stakeholders.
Priorizando seus experimentos
Para conseguir escolher o melhor experimento para o seu momento, existem fatores que ajudam a nos nortear nesta jornada. O primeiro é entender o momento em que você está em seu projeto:
Descoberta (Desejabilidade) — esta etapa é considerada a inicial no processo, quando você ainda tem dúvidas sobre a validade de suas hipóteses. Nela, experimentos com evidências fracas são o suficiente para entender se você está indo no caminho certo.
Validação (Viabilidade) — esta é uma etapa mais avançada, que requer experimentos com um grau de complexidade maior já que exigem evidências mais fortes para reconhecer se a direção que você tomou no início do processo foi validada ou refutada.
Entendendo o momento que está em seu projeto, você já consegue visualizar qual experimento faz mais sentido para conseguir coletar evidência/dados necessários, seguir com seus próximos passos e finalmente validar sua ideia. Existem alguns critérios que também o auxiliarão na escolha do melhor experimento para a etapa da sua jornada de experimentação:
💪 Força da evidência — Evidências são aprendizados que te ajudam a dar suporte ou a refutar suas ideias/hipóteses durante sua jornada de experimentação. Quanto menos evidências você tiver de suas ideias, menos custo e tempo você deve perder.
💰 Custo — Neste critério você deve levar em consideração quantas pessoas vão estar envolvidas no processo e quanto tempo você ainda tem para conseguir escolher o experimento certo para mostrar e convencer os stakeholders sobre o andamento do projeto.
⏱ Tempo — Neste critério deve-se levar em consideração dois pontos: o tempo para você construir o experimento e o tempo para você conseguir coletar os resultados. Tente aproveitá-lo da melhor forma para a coleta o máximo de evidências em seu projeto.
Boas práticas:
- Comece da forma mais barata e rápida. Quanto menos você sabe, escolher experimentos rápidos ajudam a entender se está em uma direção certa.
- Aumente a força de suas evidências com múltiplos experimentos.Nunca faça decisões importantes com base em um experimento ou em uma evidência fraca.
- Tente sempre priorizar o experimento que fornecerá uma evidência forte. Sempre leve em consideração o seu contexto e o tempo que você tem para tomar suas decisões.
- Tente reduzir o máximo de incertezas antes de começar a construir algo grande. Às vezes achamos que precisamos construir algo para testar uma ideia. Na parte 2 deste artigo, mostrarei como experimentamos uma ideia sem ainda ter o produto funcionando.
Tipos de experimentos em ambientes de app
Agora vou mostrar como e quais experimentos você pode executar em sua jornada para testar suas ideias. Leve em consideração os critérios acima para escolher o melhor experimento para o seu momento. Logo a seguir, você encontrará as ferramentas que utilizamos e quais experimentos podemos executar com elas.
Um ponto importante é que essas ferramentas tem o objetivo de minimizar o esforço do time de tecnologia, sem precisar que você tenha que lançar uma nova versão na loja para conseguir experimentar sua ideia. Para isso, o back-end em app acaba sendo um grande aliado no processo de experimentação ágil, fazendo com que você consiga executar seus experimentos sem precisar entrar em ciclos de atualização.
Push notifications
Notificação é uma das ferramentas mais democráticas para conseguir suas primeiras evidências em um curto período de tempo. Ela possui um custo inicial alto porque primeiramente você precisará construir ou contratar um serviço de disparo de notificações para deixar o processo mais ágil e sem precisar envolver toda vez o time de tecnologia no processo. Mas depois de construído, você consegue realizar experimentos que te darão resultados no mesmo dia em que executá-los. Um boa prática é sempre utilizar as notificações em grupos controlados de usuário para minimizar possíveis riscos para o seu produto
Quais experimentos posso executar com ela:
Fake door (porta falsa)
💪 💪 | 💰 | ⏱ | Descoberta (Desejabilidade)
O que é — Descreva a sua proposta de valor no texto da notificação e quando o usuário tocá-la, você comunicará que a funcionalidade ainda não está pronta e que ainda está em construção. Por isso o nome porta falsa.
Como fazer — Uma boa forma de você executá-lo é criando um link da notificação para um formulário, como o Typeform ou Google forms. Assim você pode dar mais contexto da sua ideia e coletar pessoas que estão interessadas em ajudar, criando um lead rápido para realizar pesquisas futuras. Quando a pessoa acessar o seu formulário, tente escrever um texto que não a frustre, já que a experiência neste experimento não é a das melhores. É de extrema importância coletar o número de clicks na notificação para conseguir avaliar o interesse do seu público por aquela funcionalidade
Lista de espera
💪 💪 | 💰 | ⏱ | Descoberta (Desejabilidade)
O que é — Este experimento é bem parecido com o do Fakedoor, mas ele tem o objetivo de coletar pessoas interessadas em testar seu produto no futuro. Este tipo de pessoa tende a estar disposta a testar sua ideia, mesmo ela não sendo 100% completa. São pessoas muito valiosas para você conseguir experimentar e pegar feedbacks de suas ideias mais tarde
Como fazer — Você pode utilizar a mesma estratégia como foi comentada no experimento de fakedoor. Mas, quando a pessoa acessar seu formulário, mostre uma mensagem que o seu produto ainda está em fase de teste e que para participar, ela deve preencher o formulário para entrar em uma lista de espera. Sempre lembre de medir os acessos para validar o seu critério de sucesso do experimento.
Teste A/B
💪 💪 | 💰 | ⏱ ⏱ | Descoberta (Desejabilidade)
O que é — Testes A/B são testes que realizam comparações entre 2 grupos de variáveis com o objetivo de definir qual delas gera a melhor resposta para a solução.
Como fazer — Neste caso, um exemplo mais prático utilizando notificações seria identificar qual de suas ideias têm um maior interesse por parte do seu público. Basta disparar duas notificações com duas propostas de valores diferentes para dois grupos separados, assim, quando você analisar a taxa de abertura das duas, você consegue identificar qual delas teve uma significância estatística maior de interesse do seu público. Existem calculadoras que ajudam a fazer esta conta, como está aqui. Este é um exemplo de teste A/B, mas você pode criar as suas próprias alternativas para avaliar a melhor resposta para os seus problemas.
Estruturas internas dentro do app
Criar estruturas internas dentro do seu app também pode ajudar a entender o engajamento e a desejabilidade do seu público pelas suas funcionalidades. Os tipos de experimentos que podem ser realizados são iguais aos realizados pela notificação, mas, com a diferença que você vai estar avaliando o uso da funcionalidade conforme a pessoa estiver utilizando seu app, sem ser um aviso instantâneo como é a notificação.
Criar estas estruturas acabam tendo um custo maior de implementação, já que você e seu time vão ter que criá-las para conseguir alterar e mandar informações via back-end para não precisar lançar uma nova versão na loja para fazer seus experimentos. Existem alguns serviços, como o appcues, que auxiliam nisso, mas ainda está em versão beta para ambientes de aplicativos. Vou citar dois exemplos de estrutura que você pode construir com seu time:
Pop-up Banner — Neste exemplo, você pode acionar um banner quando um usuário abrir seu app ou ao acessar uma sessão de seu aplicativo. É de extrema importância o banner ter um padrão de informação e que você crie uma estrutura junto ao seu time de tecnologia para fazer o seu envio para o usuário final via back-end quando necessário. Assim, você tira a variável de esperar a autorização da loja para subir um novo banner.
Card — O card seria uma abordagem bem parecida com banner, porém, ele constitui de um componente que se encontra dentro de uma sessão em seu app. Ele deve ter a mesma facilidade de acrescentar e tirar informações via backend, como comentado anteriormente.
Ferramentas low-code
Hoje, está cada vez mais fácil conseguir experimentar ideias de produto de forma fiel a uma proposta final sem prejudicar a experiência final do usuário. As ferramentas low-code podem auxiliar você neste processo, possibilitando construir experimentos que necessitam de um grau de validação e de amostragem mais real com uma proposta final.
Existem várias ferramentas low-code para ambientes de app, como Adalo, Bubble, Webflow e elas permitem você criar estes experimentos em uma página web de forma rápida e sem código, sendo fácil linkar com o seu produto no app por meio de uma webview.
Na segunda parte do artigo, mostro um pouco como construímos um serviço funcional utilizando ferramentas lowcode.
Quais experimentos posso executar com ela:
Landing page
💪 💪 | 💰 💰 | ⏱ ⏱ | Descoberta (Desejabilidade) e Validação (Viabilidade)
O que é — A landing page é uma simples página na web que mostra de forma clara a proposta de valor do produto/serviço vendido ali com um ação clara do que o usuário precisa fazer.
Como fazer — Escolha um melhor template de design para a sua estrutura e sempre lembre de otimizar a experiência para ambientes mobile. Uma dica de ouro é utilizar outros serviços, como google analytics, para entender o comportamento do usuário na página e tenha em mente 4 pontos importantes que a sua estrutura deve ter:
• Uma proposta de valor clara com a ideia de testar sua hipótese e já criar uma conexão com o usuário sobre o que está falado naquela página
• Fale nessa página sobre as principais dores de seu usuário para que ele crie uma conexão com a sua proposta de valor.
• Mostre qual a solução que você tem para essas dores de forma clara
• Sempre lembre do seu CTA (Call to action) e qual o objetivo que você quer extrair quando o usuário tocar neste botão, como pegar algumas informações de contato para utilizá-las no futuro.
Mágico de Oz
💪 💪 💪 | 💰 💰 | ⏱ ⏱ ⏱ | Descoberta (Desejabilidade) e Validação (Viabilidade)
O que é — O mágico de oz consiste em você entregar uma experiência mínima do seu produto de forma a reduzir ao máximo o uso de tecnologia e fazê-lo de forma manual, mas sem que o consumidor saiba que tem uma pessoa fazendo este serviço por trás.
Como fazer — Com as ferramentas low-code, você pode construir uma experiência mínima em uma webpage e linkar com outras tecnologias para facilitar e diminuir o impacto manual no processo. Uma ferramenta que pode ajudar bastante neste processo é o Zapier, que consegue integrar planilhas no google sheets com as estruturas nas ferramentas low-code, como o webflow, deixando todo o processo mais fácil de se gerenciar.
No próximo artigo, mostrarei como executei um experimento utilizando Mágico de Oz para validarmos nossa plataforma de mentoria, junto a um guia de boas práticas durante o seu processo de execução.
Concierge
💪 💪 💪 | 💰 💰 💰 | ⏱ ⏱ ⏱ | Descoberta (Desejabilidade) e Validação (Viabilidade)
O que é — O concierge parte do mesmo princípio do mágico de oz, porém, a ideia é que a pessoa que está envolvida no processo manual fica clara e visível para o consumidor final
Como fazer — Você pode utilizar a mesma lógica de webpages comentadas acima para conseguir ter um primeiro contato com seu usuário. Tente executar outros experimentos antes de começar com esse. Tente coletar o contato das pessoas que querem resolver o problema com o seu produto/serviço e converse com elas por email ou whatsapp vendendo uma proposta final para ajudá-las em suas dores. Lembre-se sempre que concierge não é uma solução escalável e sim, uma forma de apenas testar sua ideia na prática. E lembre-se também desses 3 passos para auxiliar no processo:
- Prepare seu plano, tente utilizar planilhas para registrar os seus passos e ordens que você precisa executar com cada pessoa interessada.
- Execute a ordem e registre nessa planilha quanto tempo demorou para realizá-la e tente pegar o feedback dos usuários que você entrou em contato com um forms.
- Analise os resultados junto aos feedbacks que você coletou no forms para melhorar a próxima vez que você entrar em contato com uma nova pessoa.
Observações finais
Experimentos ao mesmo tempo que podem ser interessantes, se não documentados afim de entender o objetivo final que se quer atingir com eles, podem virar uma bola de neve interminável. Mantenha o registro de seus experimentos e sempre analise com cautela os resultados que atingiu antes de partir para o próximo (neste artigo o Michel, Product Manager na Revelo, explica bem como fazemos isso na Revelo).
Tente sempre se guiar pelos dados e aprendizados que você extraiu e nunca se apaixone pela sua ideia/hipótese, e sim, pelo problema que você quer resolver. Lembre-se: experimentos servem para validar ou invalidar sua hipótese.
E não se limite em realizar apenas os experimentos que mostrei neste artigo. Vou deixar aqui em baixo as referências que utilizei para a construção deste guia e lá você poderá encontrar vários outros tipos de experimentos. As observações acima foram tiradas dessas referências e da minha vivência no mundo de produto. Não tome elas como verdade absoluta, busque suas referências, converse com outros profissionais para ganhar mais contexto e para evoluir ainda mais rápido com seus experimentos.
Agora, na 2ª parte, mostrarei na prática esta metodologia de experimentação e como utilizamos ela para validar uma ideia de plataforma de mentoria gratuita dentro do app da Revelo. Te espero lá 👋
…
Mas e ai, como você testa e experimenta suas ídeias no seu dia-a-dia em aplicativos? Compartilhe aqui embaixo sua experiência com a gente! :)
…
Referências
Michel Nassif, tech revelo. Nuggets de Experimentos: como tornar acessível os resultados de seu discovery
Will Sertório, UX Collective. Batendo o bumbo: boas práticas para empoderar times de produto e design
Douglas Iacovelli, tech revelo. Como lançamos o app iOS da Revelo em 1 mês
Alex Osterwalder, David J. Bland. Testing Bussiness Ideas: Este é um guia de campo de experimentação rápida
Tomer Sharon. Validating Product Ideas
Ash Maurya, Running Lean: Iterate from Plan A to a Plan That Works
