Criando um framework para definir métrica de produto
Alinhando indicadores de sucesso de um produto que já existe!
Recebi o desafio de dar continuidade à construção da arquitetura e experiência do usuário em um sistema ligado ao varejo e na jornada de logística em uma das principais empresas do varejo do país, a Via. Em relação ao produto, algumas definições de fluxos já tinham sido mapeadas e outras já estavam em etapas de refinamento e produção pelo time.
Ao longo do tempo, lidando com o cenário pandêmico, fomos ajustando algumas escolhas e evoluindo outras, sempre conectando essas escolhas com as necessidades dos usuários e entendendo a importância delas para o negócio, apesar do cenário atípico da pandemia.
Depois de um tempo e de algumas entregas feitas, percebemos a necessidade de medi-las em ferramentas como o Google Analytics, dado que anteriormente, alguns fatores não permitiram que alinhasse-mos O QUÊ poderia ser medido e COMO seria feito seu acompanhamento.
Por onde começar?
Decidimos tomar esse passo, porém como dito acima, alguns questionamentos precisavam ser respondidos, como por exemplo:
- Do que já foi entregue, o que medir?
- Como definir e começar a medir e acompanhar essas métricas, sendo que o produto já está na mão do usuário?
- Qual framework pode ser usado em um workshop com o time pra essa finalidade?
- Todos do time conhecem o valor de medir e acompanhar KPI’s das entregas?
Iniciei esse processo convidando um profissional do departamento de Data Satisfaction da Via pra juntos pesquisarmos sobre o NPS dos consumidores finais que são impactados pelo produto que nosso time está atuando. A ideia não seria utilizar o resultado desse levantamento como KPI, mas começar a educar o time sobre como usar os dados a nosso favor e no auxilio de tomada de decisões pra evolução do produto.
O produto em questão é um sistema que permite a separação, preparo para expedição e gerenciamento das entregas dos pedidos feitos pelos consumidores, atualmente, do e-commerce.
Além do NPS, também fizemos um levantamento do impacto que o MVP do novo sistema de separação de pedidos estava gerando para os estoquistas das lojas que estavam pilotando ele, e descobrimos através de entrevistas que o tempo médio para separação de pedidos na versão mobile do produto foi reduzido a 88% em comparação ao sistema legado que opera no desktop. O número de estoque pilotando o sistema era relativamente baixo (3) em comparação ao número total (+500), porém, já nos deu um indicativo do que esperar a médio prazo quando todas as lojas estiverem usando o sistema.
Após apresentar esse relatório para o time, quem não estava muito familiarizado com o tema — métrica de produto/análise de dados — já se sentiu mais engajado em ver também dados referente a performance das entregas recorrentes que fazemos em números e insights.
Analisar a maturidade da empresa quando o assunto é “dados” e considerar o contexto do seu time é muito importante durante o processo.
Nem todos terão sempre a mesma visão que você sobre o real valor que um determinado tema ou cultura pode trazer de benefício para o processo do time, e nesse caso, é importante ser empático com seus pares, preparar um caminho pra essa mudança, educar sobre o assunto (se houver esses espaço) e assim chegar no objetivo final de envolver todos ou maioria nessa nova cultura para melhorar ou evoluir os resultados.
Como fazer?
Após análises com NPS, busquei algum framework para aplicar com o time para definir os objetivos, KPI’s e métricas de cada menu do produto e quais ações, eventos do sistema e pontos da experiência do usuário faríamos o tagueamento futuramente em ferramentas como Google Analytics e Smartlook.
Existem alguns exemplos de framework como o H.E.A.R.T, que em uma tentativa no passado de aplicar com o time para o produto e gerar definições sobre as entregas que já estavam prontas, não se mostrou tão eficiente para o contexto e objetivo que citei mais acima — entender o que pode ser medido do que já está em funcionamento.
Proposta de Framework
Após algumas pesquisas e tendo acesso a algumas referências, decidi construir um framework no MURAL para servir de base na dinâmica com o time e permitir tangibilizar os Objetivos, KPI e Métricas tanto do que já tínhamos entregue, como de melhorias futuras.
Até o momento da escrita deste texto, o workshop com o time está aguardando outras etapas serem concluídas para ser aplicado, como a redefinição da visão do produto e suas OKR’s.
É importante que cada KPI alinhado tenha relação com às OKR’s e visão geral do produto, para assim mantemos um conceito bem consolidado sobre o sistema e ter mais visão do resultado dos indicadores e de como eles podem nos ajudar a tomar decisões.
Como citado acima, a estrutura desse framework que elaborei é baseado em três etapas:
- Elencar o que foi entregue e está funcionando;
- Eleger fluxo/menu que será analisado primeiro e mapear suas ações e pontos de contato;
- Eleger quais ações serão tagueadas.
Abaixo, deixo uma prévia com um exemple e algumas informações para contextualizar melhor essas três etapas do framework:
1.Elencar o que foi entregue de Perfil de usuário, ou menus do sistema e alinhar as OKR’s, Objetivo, KPI e Métricas do que condiz com essa entrega.
No sistema que estamos trabalhando aqui na Via, por exemplo, temos dois perfis de usuário (Estoque e Gestão) e alguns menus para cada um deles.
2. Eleger fluxo/menu que deve ser mapeado primeiro, pontuando:
- as principais ações desse fluxo/menu;
- eventos do sistemas como processamentos e erros de base;
- e pontos da experiência do usuário.
Detalhamento de menu com suas ações e pontos de contato de Tech X Experiência do usuário
Nessa etapa “2” é importante que UX, PM e TL preencham e definam juntos os pontos que podem passar por análise, desde as ações como os eventos do sistema e experiência do usuário proporcionado por elas. Caso o produto precise definir Objetivo, KPI e Métrica pra o Perfil de usuário, quando houver mais de um, como é o caso do que trabalhamos no time que atuo, também é necessário alinhar esses critérios para cada menu presente nesses perfis de uso.
3. Eleja as ações que serão tagueadas. Copie ou reposicione em outro quadro as ações do fluxo/menu juntamente com seus pontos de tech X comportamento dos usuários e para cada uma dessas ações defina também o Objetivo, KPI e Métrica, Ferramenta (que será analisado) e estimativa de prazo para tagueamento. Lembre-se de puxar só aquelas ações que realmente enquanto time vocês entendem que há valor para acompanhar.
Próximos passos
Tendo concluído a etapa de escolha das ações e seus pontos de contato que serão analisados para o primeiro menu/fluxo que seu time vai pilotar a analise de dados, procure a área responsável por Analytics da empresa para iniciar o processo de tagueamento e acompanhamento da performance do sistema.
Em breve, voltarei com outro trazendo:
- como foi a experiência de falar de métricas e analise de dados de forma aprofundada para o time e concluir essa atividade;
- conceitos abordados durante a apresentação;
- cases do mercado;
- prós e contras na aplicação do framework acima personalizado para o contexto do time que atuo.
Até breve.
Referências:
Sobre a cultura de dados:
https://www.tableau.com/pt-br/about/blog/2020/4/how-data-culture-can-help-unify-time-crisis
Sobre OKR, KPI e Métricas:
https://www.cursospm3.com.br/blog/qual-e-diferenca-entre-okr-e-kpi/
Framawork H.E.A.R.T.:
https://brasil.uxdesign.cc/como-utilizar-o-framework-heart-para-melhorar-suas-m%C3%A9tricas-1bcee0d080ec
Analytcs na experiência do usuário:
https://www.nngroup.com/articles/analytics-user-experience/
