Métricas focadas em usuários: implementando um framework para medir o sucesso da UX

Como medimos a experiência — até então abstrata — de um de nossos produtos B2C

Sergio Alberti
Aug 27, 2020 · 10 min read
Image for post
Image for post
Fonte: Unsplash

Tem gente que acha que metrificar é um verbo um pouco difícil de conjugar na hora de definir o sucesso do negócio. Alguns dizem que é por conta de toda a subjetividade que a experiência carrega. Mas, tomando como base certas ferramentas já disponíveis no mercado, conseguimos transformar essa tarefa em algo totalmente possível de acontecer.

Na tribo B2C da Quero Educação, somos o time que serve aos alunos com a missão de projetar a melhor experiência possível, atraindo, informando e garantindo a matrícula na faculdade. Cuidamos de produtos como o Quero Bolsa e também de marketplaces como o Mundo Vestibular e o Guia da Carreira.

É nesse amplo cenário que o Product Designer deve andar de mãos dadas com o Product Manager, auxiliando-o nas decisões de negócio ao levar a visão do aluno como prioridade para dentro da sala de reunião (dizemos aos quatro cantos aqui na Quero que o #alunoÉRei).

Medir o nível da experiência possibilita entendermos melhor como se comportam aqueles que, de fato, estão utilizando o produto, trazendo uma maior objetividade e clareza às soluções de design que muitas vezes ficariam apenas no campo mais subjetivo das hipóteses. Para potencializar essa análise, ela deve ser feita em um trabalho conjunto junto ao time de Data Science, que orientará no processo, tornando mais tangível identificarmos padrões mais usuais de comportamento dos usuários pelo produto.

E, no fim das contas, a gente chega à conclusão que pensar nas métricas e colher resultados pode ser bem mais fácil que saber conjugar verbos em todos os tempos verbais na Língua Portuguesa. Por quê? Porque é intuitivo — assim como precisa ser a melhor experiência que buscamos proporcionar para nossos usuários.

Image for post
Image for post
Detalhe da nova home do Guia de Profissões

Andei aplicando o framework por aí, mas foi no Guia de Carreiras e Profissões que utilizei pela primeira vez aqui na Quero Educação. E, como dizem que a primeira vez a gente não esquece, por que não contar como se deu a experiência a partir dele?

O Guia de Profissões é uma seção do Quero Bolsa onde você conhece como anda o cenário de diversas profissões e ainda pode ver quais são os índices que o mercado de trabalho mostra sobre elas, trazendo as informações de forma detalhada e oferecendo um verdadeiro raio-X de todas as profissões.

Como porta de entrada do nosso marketplace, o maior objetivo do Guia de Profissões é gerar engajamento e não necessariamente ter uma conversão direta. Devemos levar tráfego para o Quero Bolsa, qualificando o usuário antes dele sequer pensar em comprar.

Em outras palavras: é o momento do flerte mesmo antes de você entender que aquilo é um flerte. E também é o momento de munir o usuário de informações relevantes que ajudem ele na tomada de decisão do melhor curso.

Image for post
Image for post

Vamos começar então com algumas definições: as metas de nossos squads são definidas pela empresa e fazem parte de um nível mais estratégico, enquanto que os indicadores e dimensões são compostos por um conjunto de métricas relacionadas entre si, fazendo parte de um nível mais tático (como é o caso do KPI). Já as métricas representam aquilo que, de fato, queremos medir nas soluções propostas, fazendo parte do nível operacional. Sendo assim:

Indicadores e métricas servirão para guiar o produto na direção estabelecida pelo planejamento estratégico, representado pelas metas definidas pela empresa.

Image for post
Image for post

E é elevando o operacional a um nível mais tático que os designers podem contribuir bastante, entendendo como os usuários estão se comportando no produto e reunindo indícios que, combinando com as análises de negócio, levarão a reflexões mais profundas sobre o produto.

A união do time, de fato, faz a força.

As métricas de comportamento do usuário são importantes para que, junto com as métricas de negócio, possamos ter uma compreensão mais profunda dos resultados.

O framework que utilizamos para metrificar a experiência do Guia de Profissões foi baseado no H.E.A.R.T. (Happiness, Engagement, Adoption, Retention, Task Success) do Google Ventures. Usamos ele como base e depois o adaptamos para a realidade dos nossos produtos na Quero Educação.

Mas mais importante do que tentar encaixar as métricas do que será medido na “sopa de letrinhas” do H.E.A.R.T., é necessário entender de forma muito clara os porquês do que se quer medir, e somente após isso que devemos prosseguir com a adoção de um framework. Outro ponto que vale levantar, foi que adicionamos a ele uma coluna sobre quais seriam os insights esperados dos experimentos, preparando o raciocínio do designer antes que ele possa dar o start nas medições.

E antes de entrarmos na prática, não esqueça de se perguntar: que indicadores-chave se aplicam melhor ao seu objetivo? Olha aí uma ótima oportunidade de você estreitar a comunicação com seus stakeholders diretos.

O próximo passo será usar esse framework, que adaptamos para que você possa também utilizar nos seus projetos de design (antes, lembre-se de copiar a planilha para o seu drive no Google). Ele vai servir de apoio para que você possa definir:

1) Quais são os objetivos que levaram você a querer medir a experiência de uso do seu produto? E essa reflexão deve considerar…

  • O que você quer medir?
    (Ex: o engajamento da página)
  • Por que você quer medir?
    (Ex: a página apresenta uma alta taxa de rejeição, nossa hipótese é que o conteúdo não esteja adequado ao público atual de visitantes)

2) Quais serão os sinais que indicarão que você alcançou (ou não) esses objetivos quando o usuário for interagir no experimento?

3) Que métricas que você precisará usar para medir a experiência de uso?

4) E enfim, a pergunta adicional: o que esperamos entender com essas métricas, ou seja, quais são os insights esperados com o experimento?

Pensando nessas perguntas (e nas respostas delas), você terá também a certeza de que vai trabalhar ao lado do Product Manager para juntos entenderem as melhores estratégias focadas no usuário e que vão apoiar as visões de negócio da sua empresa.

Lembro bem daquele momento inicial antes de remodelar o Guia de Profissões, quando as páginas que existiam consistiam mais em um conjunto de palavras-chaves distribuídas por grandes conteúdos de textos, pouco interligados entre si. Não havia ali uma história a ser contada, muito menos contemplava a jornada do aluno. Eram apenas grandes massas de textos intercaladas com alguns estímulos para a conversão — um prato cheio de oportunidades para testarmos o novo modelo.

Diante o cenário, eu e o Julio Oliveira, PM do squad, partimos para a definição do que queríamos alcançar com o novo projeto:

  • Para o negócio: o objetivo era que, ao menos, mantivéssemos as taxas de visitas da seção antiga e de forma que possibilitasse a conversão desses visitantes para dentro do funil de vendas. Uma análise que já levantamos aqui é: para atingirmos o segundo objetivo, necessariamente teríamos de trabalhar a qualificação do tráfego originado pela busca de termos relacionados.
  • Como objetivo focado no usuário, queríamos auxiliar o aluno na sua jornada de escolha da carreira, de modo que ele se sentisse seguro o suficiente para tomar a sua decisão, nessa importante fase da vida onde ele se vê diante da necessidade de ter de fazer a sua escolha profissional. Na parte de Design, então, tínhamos como foco dois indicadores principais: o engajamento do aluno pelo fluxo de páginas do Guia e a adoção das soluções que seriam projetadas.

Ainda antes de partir ao framework, resolvemos rascunhar os esquemas abaixo para representar o raciocínio base de como iríamos medir o sucesso da principal página do Guia: a página de Profissões. O intuito era clarificar melhor as ideias junto ao PM e ter condições de checar previamente se estávamos no caminho certo:

Image for post
Image for post
Como medimos o interesse dos alunos pelo conteúdo
Image for post
Image for post
Como medimos se os alunos entenderiam a proposta de valor de um dos componentes

E foi assim que partimos, finalmente, para o planejamento utilizando o framework:

Image for post
Image for post
Recorte da planilha de métricas utilizada no projeto

Após colher todas as métricas do experimento e a fim de facilitar o entendimento dos resultados, a sugestão é buscar responder a essas perguntas:

O objetivo foi atingido?

Quais foram os resultados?

Quais são as hipóteses de evolução/correção dos resultados?

Onde estão as melhores oportunidades?

Estamos no rumo certo, seguindo os objetivos traçados?

Sobre o Guia de Profissões, após quase um semestre de projeto no ar, um bom resumo das respostas acima é: estamos no rumo certo, sim! Veja alguns resultados das medições:

Constatamos que o novo Guia de Profissões tem sido bom para o negócio:

  • Pouco tempo depois de lançado, a indexação de suas páginas se deu de forma acelerada devido ao alto nível de engajamento dos usuários, engajamento este gerado pelo planejamento da experiência e a entrega de valor proposta;
Image for post
Image for post
Os dados foram retirados do Google Search Console
  • Considerando a busca pela palavra-chave “profissões”, passamos um importante grupo das páginas mais visitadas para esse termo e conseguimos hoje chegar a 1ª posição no ranqueamento do Google (medido até a data de lançamento deste artigo). O Guia passou a se consolidar como uma das páginas estratégicas para SEO na empresa;
  • Atualmente, o Guia se tornou a 2ª página qualified de maior tráfego do Quero Bolsa passando páginas do site historicamente fortes nesse sentido, o que é muito acima do esperado, ainda mais se tratando de uma seção de páginas novas;
  • Desde o seu lançamento, a principal solução projetada para a home do Guia de Profissões (um componente onde o aluno diz qual salário gostaria de receber e o site retorna com opções recomendadas) tem levado uma média de 46% de usuários em direção ao funil de vendas. Isso significa pegar uma base de visitantes ainda não qualificados e colocá-los no rumo certo do negócio, que é representado pela venda das bolsas de estudo.
Image for post
Image for post
Os dados foram retirados do Amplitude

Ao mesmo tempo, o Guia de Profissões tem sido útil ao usuário:

  • O projeto foi muito bem aceito pelo público, indicando que a nova experiência foi de fato relevante para ajudar o aluno em sua tomada de decisão e isso acabou contribuindo para a melhoria geral das taxas de engajamento. Como já disse, isso acabou influenciando diretamente nas boas taxas de indexação;
  • Uma das soluções criadas para a página de Profissões tem levado constantemente uma média de 30% dos visitantes direto para o funil. É importante levantar que ela foi concebida de acordo com uma das necessidades levantadas pelos alunos nas pesquisas, que manifestavam o desejo de saber o retorno que teriam ao escolher determinada profissão. E isso era um prato cheio para mostrarmos a eles o quanto que cursar uma graduação seria um bom investimento para as suas carreiras;
Image for post
Image for post
Os dados foram retirados do Amplitude e Google Analytics
  • Conseguimos finalmente comprovar que a sua função está muito mais voltada ao engajamento dos usuários do que a venda em si, portanto os visitantes munidos de maiores informações sobre a carreira seriam levados naturalmente a converter pelo fluxo das páginas. E digo que isso foi uma construção de pensamento focado no usuário em conjunto dentro do time, sendo consolidada com a implementação do plano de métricas no squad.

Além disso, estamos trabalhando no entendimento do quanto o Guia de Profissões influencia direta ou indiretamente nas taxas de conversão do site, pois, além de ajudar na tomada de decisão, é importante que o usuário conclua sua jornada de compra conosco. Uma das hipóteses para medir isso está esquematizada nessa imagem abaixo:

Image for post
Image for post
Como podemos medir se o projeto estimula os alunos a converterem durante o fluxo
Image for post
Image for post

Um dos benefícios de utilizar um framework para medir a experiência é que ele vai ajudar você a tangibilizar e botar no papel o que usuário está sentindo quando interage com a interface. Isso porque você precisa saber exatamente o que será fator de sucesso antes do jogo começar.

Se bem planejado, você terá tudo para estabelecer a unificação das estratégias de negócio com a visão dos usuários no seu time. É como disse lá em cima: medir a experiência do usuário pode ser bem abstrata e com o apoio de uma ferramenta como essa, você pode organizar suas métricas de uma forma bem prática e objetiva.

Essa é a base da validação da experiência proposta pelo designer no produto, podendo ser inclusive o pontapé inicial para pesquisas mais aprofundadas (e qualitativas) com os usuários. Assim, trabalhando em conjunto com os outros membros do squad ajudamos a estabelecer os padrões de comportamento, contribuindo para as melhorias do produto.

Além disso, ao auxiliar o PM, também ganhamos uma maior visibilidade no squad. Ao traçar as métricas de comportamento de usuário, colocamos o designer de produto em um papel mais estratégico para o time e para o negócio da empresa.

E se você, assim como eu, trabalha em uma empresa data-driven (e é apaixonado por esse fato), também vai incluir este benefício na sua listinha. Além de conjugar o verbo “metrificar” com sucesso, você vai ter a oportunidade de ajudar a traduzir em números o sucesso da experiência do produto que você colaborou para desenvolver. Aliás…

Esses dados e métricas são — nada mais, nada menos — que a voz dos usuários que você está buscando atingir (e ajudar).

Tech at Quero

Blog do time de Tecnologia da Quero Educação — A EdTech que…

Medium is an open platform where 170 million readers come to find insightful and dynamic thinking. Here, expert and undiscovered voices alike dive into the heart of any topic and bring new ideas to the surface. Learn more

Follow the writers, publications, and topics that matter to you, and you’ll see them on your homepage and in your inbox. Explore

If you have a story to tell, knowledge to share, or a perspective to offer — welcome home. It’s easy and free to post your thinking on any topic. Write on Medium

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store