Uma cartilha sobre métrica de produtos
Autora Alex Reeve| Traduzido por Isabella Beatriz
As equipes de produtos adoram empregar termos de aviação como “instrumentação” ou “telemetria”, e não apenas porque nos faz sentir inteligentes. Imagine que você pilota um avião à noite: como sabe em que direção viaja? Tem combustível suficiente? Vai bater numa montanha?
Agora imagine que é responsável pelo crescente envolvimento do YouTube. Tem milhares de milhões de usuários e um ecossistema complicado. Como saber se está aumentando o envolvimento dos usuários? Porque é que as pessoas usam o seu produto? O que é “envolvimento”, afinal?
Usando o enquadramento de Andy Grove da Gestão de Alto Rendimento: sem instrumentação, telemetria, ou indicadores — todos referidos como métricas abaixo — o nosso produto é uma “caixa negra”. Nesta caixa negra, a entrada (código, design, hardware, tempo) entra, e a saída (receitas, pessoas que utilizam o produto) sai.
A métrica ajuda-nos a quantificar a produção e a cortar janelas na caixa negra para compreender porque vemos uma determinada produção. São uma ferramenta que nos ajuda:
- Medir os resultados (ou seja, medir o sucesso): quantificar o progresso em direção a um objetivo comercial.
- Compreender os resultados: revelar porque estamos vendo um determinado resultado.
- Tomar decisões: realizar experimentos e decidir como nosso produto deve evoluir.
- Reagir e adaptar-se: alertar-nos sobre questões de saúde do produto ou tendências que coloquem nossos objetivos em risco.
- Alinhar nossos esforços: manter nossa(s) equipe(s) nadando na mesma direção.
Os tipos de métricas utilizadas pelas equipes de produtos
As métricas variam entre indústrias, empresas e equipes. Em vez de tentar ser exaustivo, vou me concentrar nos conceitos centrais aplicáveis à maioria dos conjuntos de métricas de produtos.
Medir o Sucesso, Empatia e Saúde
- Sucesso (medição de saída): nosso produto está indo na direção certa? Por que ou, porque não?
- Empatia: podemos identificar o significado? Sabemos o que as pessoas sentem sobre nosso produto?
- Saúde: sabemos qual é a “saúde” de nosso produto? Ele está funcionando de forma confiável ou X% dos usuários?
Definir Métricas True-north, Signpost e Guardrail Metric
True-north é a métrica singular utilizada para rastrear o sucesso de seu produto (ou saída em nossa analogia de caixa preta). Só pode haver uma, mas podemos complementá-la com a sinalização e a métrica de guardrail. As métricas True-n0rth são geralmente “late-funnel”, ou seja, o ponto culminante de um funil que envolve muitas etapas diferentes. Como resultado, eles são muitas vezes difíceis de se mover. Alguns exemplos de produtos que você provavelmente já usou:
- Spotify: tempo de escuta agregado
- Facebook: usuários ativos mensais (MAU)
- Slack: usuários ativos diariamente (DAUs)
As métricas de Sinalização não definem o sucesso de nosso produto. Mas, usando nossa analogia com a caixa preta, elas nos ajudam a entender porque nosso verdadeiro norte está se movendo em uma determinada direção (ou qualquer outra parte “importante para se manter de olho” em nosso produto). Por exemplo, se a verdadeira métrica norte de Spotify for “tempo de escuta agregado”, três métricas de sinalização podem ser o (1) número de usuários únicos, (2) músicas únicas tocadas por usuário, e (3) duração média da música.
A métrica Guardrail é usada ao executar experimentos A/B. Elas são o que observamos para garantir que uma mudança que estamos fazendo não impacte negativamente outra parte de nosso produto. Por exemplo, você pode fazer um experimento para aumentar a aquisição de usuários pagos, oferecendo um desconto pesado no primeiro mês. Uma métrica de guardrail útil poderia ser a retenção de dois meses para ajudá-lo a entender se você está proporcionando uma experiência suficientemente boa para reter esses usuários ao longo do tempo (antes de investir mais na aquisição de usuários).
Identificar Fatos e Significado
As métricas quantitativas são de alto volume e baixo contexto; elas ajudam a entender os fatos e o comportamento do usuário. Por exemplo, usuários ativos diariamente (DAUs), rotatividade, engajamento, volume de vendas.
As métricas qualitativas são de baixo volume e alto contexto; elas fornecem significado e contextualizam dados quânticos. Por exemplo, entrevistas com clientes, gravações de tela, grupos de foco.
Com um tamanho de amostra suficientemente grande, os dados qualitativos podem tornar-se quantitativos. Por exemplo, o registro de interações suficientes dos usuários pode gerar um mapa térmico; pesquisar pessoas suficientes revelará as tendências das palavras-chave. Mas ao fazer isto, você arrisca perder o significado por trás do feedback.
Lembre-se de que qualquer conjunto de métricas de produtos precisa de uma maneira de identificar fatos e significados.
Regras de conduta quando se trabalha com métricas
Definir, implementar e usar métricas é um processo imperfeito e iterativo. Ao mesmo tempo, há três (e provavelmente mais — eu gosto apenas de “três”) coisas que eu me vejo repetindo.
Métricas cegamente usadas como objetivo deixar de ser uma boa métrica
Mover uma métrica não é o objetivo. Alcançar um resultado comercial ou produto é a meta, e uma métrica é uma forma de quantificar se você está alcançando essa meta. Imagine que você está lançando uma nova experiência de login para colocar mais pessoas em seu produto. Você precisa definir uma métrica do verdadeiro norte para medir se sua nova experiência é melhor ou pior. Você tem duas opções:
- Taxa de impressão-para-sessão: das pessoas que visualizam a tela de login, qual a porcentagem de sucesso no login?
- Taxa de tentativa de sessão: das pessoas que interagem com a tela de login, qual a porcentagem de sucesso no login?
Como qualquer página pública, uma tela de login é vulnerável ao tráfego de bot. As visualizações (impressões) dos bot são numerosas e difíceis de identificar, mas os bots raramente interagem (tentativa), e eles nunca fazem login. Dado que a impressão-para-sessão é vulnerável ao tráfego de bot, a tentativa-para-sessão é uma medida mais precisa de sucesso, certo?
Vamos descobrir. Imagine que seus usuários são pais e avós:
- Os pais são técnicos especializados, com uma taxa de tentativa de sessão de 71%.
- Os avós são menos especializados em tecnologia, com uma taxa de tentativa de sessão de 50%.
Você lança uma experiência eficaz para aumentar as tentativas de login dos avós. Mas como apenas 50% das tentativas de login dos avós são bem sucedidas, e agora representam uma porção maior das tentativas, sua taxa de tentativas verdadeiro-norte-sessão cai de 65% para 63%:
Você não deveria acelerar esta experiência porque a métrica true-north caiu, certo? Não. Seu objetivo não é aumentar a taxa de tentativa de sessão. Seu objetivo é fazer com que mais pessoas entrem no produto; este experimento está fazendo isso em +12%:
Isso significa que a impressão-para-sessão é uma escolha melhor? Não necessariamente, porque a impressão-para-sessão ainda é vulnerável ao tráfego de bot. As métricas são raramente perfeitas, e o deslocamento de mistura, como mostrado acima, é apenas um exemplo disso. A questão aqui é estar ciente de onde as métricas podem ser enganosas e estabelecer guardrails apropriados. Novamente — mover uma métrica não é a meta; alcançar um resultado comercial ou de produto é a meta.
As métricas devem ser facilmente compreensíveis
As métricas não só ajudam a medir o progresso em direção a um objetivo, mas também ajudam a unir uma equipe e capacitar os membros dessa equipe a operar com maior autonomia. Para alcançar isso, uma métrica precisa ser compreendida por um grupo grande e diversificado de pessoas. Se elas não conseguirem, não é uma boa métrica. Há algumas exceções para equipes altamente técnicas (por exemplo, busca), mas como regra geral, mantenha simples — você poderia explicar rapidamente uma métrica ao seu CEO?
As decisões mais importantes quase universalmente não têm dados perfeitos
Os dados e as métricas não existem isoladamente; eles vivem em um ecossistema mais amplo de tomada de decisões. Nos produtos de construção, a métrica tem dois irmãos: “sensação instintiva” e “empatia”. Estes irmãos são geralmente menos famosos, mas não menos importantes. Ocasionalmente, eles serão descritos como “sentido do produto” ou “intestino do produto”, significando uma intuição sobre o que é o produto certo.
- Embora seja difícil quantificar, a intuição existe por uma razão. É o culminar de decisões anteriores e de seus ciclos de feedback. E, ao contrário da maioria das coisas, a intuição se torna mais afiada com o tempo.
- Não inteiramente diferente da intuição, a empatia representa uma compreensão do usuário ou cliente — seus problemas, o que eles valorizam e como eles veem o mundo.
- Cada decisão que tomamos é uma combinação de métrica, intuição e empatia. Se você não tem boas métricas, é melhor ter uma boa empatia, e vice-versa.
As equipes de produtos muitas vezes ficam paradas enquanto esperam por dados perfeitos, e eu posso ter empatia. Eles estão nervosos, e não querem tomar a decisão errada. Mas há um custo para a inação, portanto sempre tenha em mente dois fatores ao tomar decisões difíceis sobre produtos:
- Quão reversível é esta decisão? O custo de tomar a decisão errada é maior que o custo de oportunidade de esperar por dados perfeitos?
- Se não tivermos grandes dados, temos empatia profunda? Você pode viver sem um se o outro for forte, mas não pode viver sem os dois.
Take-Home: Dez perguntas a fazer
Embora a orientação prescritiva sobre métricas não seja útil porque elas variam tão drasticamente, aqui estão algumas perguntas em aberto que você pode fazer ao definir seu próprio conjunto de métricas de produtos:
- Que objetivo você está tentando alcançar — qual é sua missão e visão?
- Como você saberá quando tiver atingido esse objetivo?
- Como você vai medir o progresso em direção a essa meta?
- Que ações você quer que seus usuários tomem, e como você as medirá?
- Como você poderá medir o comportamento agregado dos usuários e encontrar contexto e empatia?
- Suas métricas são absolutas ou relativas — sua meta é obter X usuários ou uma certa porcentagem?
- Como você sabe que seu produto está funcionando de forma confiável para 99,9% dos usuários?
- Você pode explicar sua métrica true-north em duas sentenças ou menos?
- Que métrica de guardrail você rastreia ao executar experimentos?
- Como os clientes se sentem em relação ao seu produto?
Há muito o que mastigar aqui. A métrica do produto é tão ampla quanto variada. Mas investir tempo e recursos para identificar e construir a métrica correta é uma das atividades de maior alavancagem que qualquer equipe de produto pode fazer. Se você achou isto valioso, escrevo [um pouco] regularmente no reeve.blog.
