Experimentação em app: como testar sem precisar lançar uma nova versão na loja - Parte 2

Published in

tech.revelo

8 min readAug 26, 2021

Na parte 1, foi mostrado um guia prático de experimentos que podemos realizar dentro de um ambiente de app. Agora, na parte 2, vou detalhar como experimentamos e criamos uma plataforma de mentoria gratuita para pessoas na área de tecnologia utilizando metodologia de experimentação, contando um pouco do racional para tomar as decisões e dicas de boas práticas durante este processo de experimentação.

Começando pelo começo

Na Revelo, temos ciclos trimestrais para tirarmos nossas ideias do papel com todo o time e planejarmos como podemos experimentá-las ao longo dos próximos 3 meses. Levando em conta que a Revelo é uma plataforma de HR Tech, durante este processo de brainstorming e análise das ideias, identificamos que uma iniciativa de mentoria com profissionais seniors poderia ter um impacto muito grande para os usuários de nossa plataforma e também para o negócio mas, ao mesmo tempo, tínhamos poucas evidências da desejabilidade e da viabilidade de uma plataforma como essa dentro do app da Revelo.

Então, tendo isso em mente, eu e o Michel, Product manager e minha antiga dupla na equipe do app da Revelo, sabíamos que o maior desafio nesse processo seria levantar e mostrar essas evidências sem envolver ainda o time de tecnologia, já que estavam com o foco em outras tarefas e na construção de outras funcionalidades para o app da Revelo. Então, por onde começar? 🤔

Discovery e Definindo primeiros passos

*Nesta primeira etapa no projeto, focamos em entender qual era a desejabilidade do nosso público com a funcionalidade*

Depois de um processo de benchmarking para conhecermos um pouco mais sobre os nossos possíveis concorrentes, junto a um exercício de matriz CSD para esclarecer nossas certezas, suposições e dúvidas, identificamos que precisávamos entender como funcionava a rotina dos mentores. Como um primeiro passo, uma entrevista com este público poderia nos ajudar no começo da nossa iniciativa pelo baixo custo em realizá-las e poderia nos mostrar outros caminhos que nos auxiliariam no processo de experimentação.

🧪 1º “Experimento” (pesquisa): Entrevista com o usuário

Para essa entrevista, estabelecemos um roteiro e tivemos alguns pontos claros que surgiram de nossa matriz CSD que queríamos esclarecer:

Entender como funciona de forma macro a jornada de dar uma mentoria e se os mentores já utilizavam alguma plataforma para auxiliar neste processo.
Descobrir quais problemas e dores que passam neste processo.
Qual é a sua motivação em fazer mentorias e o que ganham neste processo
Identificar se existe algum ponto de risco para o negócio e a iniciativa

Depois de uma conversa muito rica com mais de 20 mentores, tabulamos os resultados e resumimos os principais insights que tiramos das entrevistas.

*Depois de realizar o processo de entrevista, tabulamos os resultados e criamos uma pequena apresentação no Miro para facilitar no compartilhamento de informações*

Como próximos passos, criamos um canvas ( lean canvas, do livro running lean) para entendermos nosso público, a proposta de valor e viabilidade de modo a facilitar conversas com stakeholders e outras pessoas da empresa para receber feedbacks. Porém, durante este processo, identificamos um ponto crucial e um possível risco para o nosso produto: um número relevante de mentores da área de desenvolvimento relataram a falta de interesse de pessoas da área em querer participar de mentorias com outros profissionais, mesmo sendo gratuitas.

Como o processo de entrevista entrega uma força baixa de evidência dos fatos e levando em consideração que grande parte do público da Revelo são de desenvolvedores, precisávamos levantar mais dados para entender se de fato poderia ser um risco para a iniciativa. Com isso, depois de quebrar um pouco a cabeça, conversando com stakeholders e outros designers, precisávamos executar um experimento que nos ajudasse a coletar evidências mais fortes para entender se este risco era real. Com isso, surgiu a ideia do nosso próximo experimento.

🧪 2ª Experimento: Push notification e lista de espera

Notificações sendo mal utilizadas podem gerar frustrações e insatisfação em usuários. Mas se bem utilizadas, podem ser uma boa fonte de dados para avaliar o interesse das pessoas por novas funcionalidades de forma rápida e barata.
Para coletar mais evidências do problema que identificamos anteriormente, fizemos disparos de pushes com a abordagem de um experimento de lista de espera para 2 públicos com um número controlado de usuários:

Desenvolvedores Seniors: Identificar se este público cadastrado na Revelo manifestava interesse em ser mentores, sem remuneração.
Desenvolvedores iniciantes: Identificar se esse público manifestava interesse em marcar uma mentoria gratuita com profissionais seniors do mercado.

Fica a dica: Fizemos os mesmos disparos para a carreira de design, pois identificamos em nossa pesquisa que pessoas desta área de atuação já realizavam as mentorias em comunidades e plataformas online. Esse disparo nos ajudou a entender o comportamento deste público em nossa plataforma, além de permitir comparar públicos de áreas distintas.

Nesta push, os usuários eram levados para um Typeform onde registravam o seu interesse, respondendo algumas perguntas e colocando algumas informações de contato, para participar da nossa lista de espera da nova funcionalidade. Com isso, conseguimos entender a desejabilidade dos dois públicos: Pessoas que queriam fazer mentoria e que queriam dar a mentoria.

Registrando os aprendizados deste experimento, identificamos que de fato, o número de pessoas interessadas na área de design era maior, porém, o número de pessoas interessadas na área de desenvolvimento era considerável. Isso nos deu evidências suficientes para continuar a evoluir a iniciativa.

Desenvolvendo e colocando na mão do usuário

*Na segunda etapa no projeto, tínhamos evidências sobre a desejabilidade do público pela funcionalidade. Agora precisávamos entender como torná-la viável*

Identificando a desejabilidade do nosso público pela funcionalidade, tínhamos uma lista de pessoas interessadas em mentorar e outras desejando receber ajuda. Partimos então para a próxima etapa de validação:

Como podemos conectar essas duas pontas, de forma a comprovar a viabilidade do negócio?

Pegando os aprendizados adquiridos nos processos anteriores, sabíamos que precisávamos fazer um experimento com um caráter mais de validação e menos de descoberta. Com isso, veio a ideia do nosso próximo experimento.

🧪 3ª Experimento: Mágico de Oz e ferramentas low code

Como expliquei na 1ª parte do artigo, o experimento de mágico de oz consiste em entregar uma experiência funcional para o consumidor final de forma manual, reduzindo custos, mas ainda assim, coletando evidências fortes do funcionamento do serviço final. Porém, com a evolução de plataformas low code, é possível criar experiências fidedignas a uma final diminuindo várias etapas manuais no processo.

Existem várias ferramentas no mercado para auxiliar nesta etapa. A que melhor encaixou em nossa realidade foi o webflow, que apesar de ser uma ferramenta para desenvolvimento de websites, queríamos que o experimento fosse flexível, caso precisássemos mostrar o produto final em um app para as pessoas da Revelo e também em um formato desktop para os mentores interessados em ver a iniciativa.

Com a ferramenta definida, fomos para o escopo desta primeira proposta. Pegando os nossos benchmarks e insights da nossa pesquisa, decidimos que o serviço seria gratuito para ambas as partes e precisávamos que nessa primeira versão contemplasse:

Para pessoas que buscam a mentoria:

Uma lista de mentores
Uma página com mais detalhes, para a pessoa avaliar se o mentor poderia auxiliar em suas dúvidas
Conseguir visualizar uma agenda de horários e marcar uma conversa com o mentor via vídeo chamada

Para os mentores:

Pegar as informações para realizar seu cadastro
Criar uma agenda de horários disponíveis para conversar
Registrar o evento em sua agenda com a sala da videochama para a conversa

Identificamos que o calendly já era uma ferramenta muito utilizada para gerar os agendamentos das conversas para os mentores. Aproveitamos então essa tecnologia para facilitar o processo de agendamento e com o typeform, criamos uma primeira versão do nosso signup dos mentores para adicioná-los em nossa lista.

Depois de 4 dias montando a interface e coletando as informações dos mentores interessados, tínhamos a nossa primeira versão do produto funcionando. Gostaria de deixar um agradecimento para todas as pessoas da Revelo e para todos os mentores que participaram da lista para ajudar a validar a nossa ideia ❤️

Fica a dica: Nesta etapa inicial de validação, uma dica muito valiosa é colocar uma área de feedback no final da página com um link para um forms para coletar observações e insights dos usuários que estão utilizando. Isso pode acelerar no processo para entender ainda mais se a proposta está funcionando.

Com a nossa página construída, o próximo passo foi estabelecer um tracking mínimo para entender se o critério de sucesso que estabelecemos no início do experimento foi atingido. Com a ajuda do time de BI e Growth da Revelo, usamos a ferramenta do google analytics para nos auxiliar nesta etapa.

Agora a parte que mais estávamos esperando: testar e colocar na mão do usuário. Pegamos a nossa lista de pessoas que estavam interessadas em participar da iniciativa, disparamos uma push pelo app com um link para a nossa página no webflow. Depois com uma pequena ajuda de tech, colocamos um card (estrutura que comentei no 1ª parte do artigo) dentro do nosso app com um link para a página via back-end, tirando a necessidade lançar uma nova atualização na loja.

Fica a dica: caso seu app tenha um volume de acesso muito grande, deixe essa área disponível para um número controlado de pessoas, evitando assim possíveis problemas que podem ocorrer pelas limitações das ferramenta lowcode.

Resultados e observações

Depois de alguns dias rodando a página, conseguimos ter dados suficientes para entender e avaliar o nosso critério de sucesso. E os resultados superaram as nossas expectativas: tivemos o dobro de conversas do que era esperado, sendo que dessas conversas, cerca de 60% foram marcadas por pessoas da área de desenvolvimento, mitigando o risco que levantamos no início da pesquisa. Mas o que mais impactou a gente foi o relato de duas pessoas que participaram no processo:

O Rodolfo que tem o sonho de virar desenvolvedor mas sabia pouco sobre a área e ,em sua cidade, é muito difícil ter o contato com algum profissional que atua no mercado. Pela mentoria, Rodolfo pode conhecer pela primeira vez uma pessoa que atua na área, conseguiu tirar suas dúvidas e conheceu ainda mais sobre a profissão que tanto sonha em atuar.
E o Lauro que recebeu dicas do que fazer em entrevistas e foi contratado em nossa plataforma com a ajuda dessas dicas!

Com os resultados, conseguimos validar nossa aposta e junto ao time de tecnologia, vamos escalar a iniciativa para ajudar e impactar ainda mais pessoas no processo.

…

Gostaria de deixar um agradecimento especial ao Michel, sendo um dupla e tanto durante esta jornada, ao Paulo e Will, que nos guiou com conselhos em todas as etapas do processo. E por último, mas não menos importante, a todos os mentores que participaram nas pesquisas e em nossos experimentos, sempre muito dispostos a ajudar outras pessoas, não esperando nada em troca e visando na evolução do próximo.

…