Como medimos o sucesso dos novos recursos na Mercos

Acompanhar o uso de um recurso após o seu lançamento é uma tarefa que todo time de produto deve realizar. O objetivo desse artigo é compartilhar como acompanhamos o sucesso dos novos recursos que lançamos aqui na Mercos :)

Para nós, um recurso com sucesso é aquele que está sendo utilizado pelos nossos clientes e que consegue entregar valor para os nossos usuários (seja agilizar uma tarefa, evitar erros, trazer novas informações úteis, fazer mais vendas, etc). Pensando nisso, tentamos encontrar métricas para três aspectos dos novos recursos: adesão, retenção e sucesso do cliente. Não há uma exigência para que os recursos sejam acompanhados em todos os aspectos, mas tentamos ao máximo entender como está a aceitação dos recursos e se ele está ajudando os nossos clientes.

Nos próximos tópicos explicarei melhor o que esperamos de cada um desses aspectos.

Adesão

Ainda na fase de planejamento tentamos explorar qual é o percentual dos nossos clientes que deve utilizar a nova funcionalidade. Para chegar a essa estimativa levamos em consideração o volume de sugestões recebidas para o recurso, o volume de leads (potenciais clientes) perdidos pela falta dessa funcionalidade e, entre outros, o número de clientes que têm as características esperadas para usar a funcionalidade (porte de empresa, segmento de atuação, etc).

Esse potencial de adesão inclusive nos orienta na priorização da construção dos novos recursos. É mais fácil argumentar com outras áreas que o recurso X tem prioridade porque ele tende a ter adesão de 40% dos clientes enquanto que o recurso Y só fará sentido para 10% da carteira.

Quando o recurso é publicado começamos a medir se o percentual de adesão que definimos é atingido. Acabamos aprendendo que, no nosso cenário, muitos recursos tem uma adesão mais difícil nos clientes que já estão usando o sistema pois podem exigir novos treinamentos, alteração nas integrações com outros sistemas já implantados e demandar mudanças de processos que não estavam planejadas. Sempre que identificamos a possibilidade disso acontecer fazemos a análise de adesão considerando apenas o cohort de clientes novos (adquiridos depois do lançamento do recurso), para evitar que essas dificuldades mudem a percepção de sucesso do recurso no cliente.

Retenção

Por meio da métrica de retenção medimos o volume de usuários que permanecem usando o recurso. Essa medida é interessante para entender se o recurso de fato é útil no dia a dia dos nossos usuários ou se é algo que foi testado e abandonado logo em seguida.

Infelizmente nem sempre conseguimos medir a retenção dos nossos recursos pois alguns deles dependem de situações no negócio do nosso cliente que não conseguimos controlar. Um exemplo disso acontece no recurso de tipos de pedido. Ele permite criar pedidos do tipo diferente de venda como bonificações e amostras. Essas operações acontecem esporadicamente nas empresas (e muitas vezes nem são incentivadas) e por isso não conseguimos definir uma frequência esperada para o uso desse recurso no sistema.

Sucesso do Cliente

Nesse aspecto buscamos medir quanto o recurso criado traz de benefício para os nossos clientes. O “sucesso” de um recurso também é definido na fase de planejamento e pode ser algo mensurável, como aumentar o volume de vendas, ou subjetivo, como aumentar a segurança de um processo do dia a dia do cliente.

Por isso, nem sempre a entrega de valor de um recurso pode ser medida por ações feitas no próprio sistema, o que acaba deixando essa métrica um pouco mais difícil de ser obtida. Na maioria das vezes optamos por avaliar o sucesso das features por entrevistas e pesquisas qualitativas com nossos clientes.

Não estamos conseguindo atingir nossas expectativas. E agora?

Não há segredo: é preciso investigar o que está acontecendo.

Mesmo envolvendo o cliente em todas as fases de desenvolvimento (o Maycon Briesemeister já falou mais sobre isso nesse post aqui), podemos ter deixado passar despercebido algum detalhe que esteja impedindo o sucesso de um recurso. Ficar atento aos clientes e ter conversas frequentes com outras áreas da empresa ajuda a perceber as deficiências do recurso com mais rapidez e a entender se as expectativas foram audaciosas demais e precisam ser revistas.

Outro ponto que deve ser investigado é se os clientes conhecem o novo recurso. E aqui, novamente, o apoio das outras áreas que também interagem com o cliente é fundamental. Na Mercos todos os times que tem contato com clientes incluem na rotina do seu dia a dia atividades que ajudam a divulgar e implantar as novas funcionalidades e esse engajamento vem melhorando muito a adesão e retenção dos nossos recursos.

E vocês? Como medem o sucesso dos recursos que planejam? Compartilhem nos comentários.