Nem tudo o que reluz é ouro em produto
Não há nada novo em dizer sobre a importância de olhar os dados antes de tomar decisões sobre produto. Sem as entrevistas com as usuárias, somos facilmente enganadas por números bonitos. Muitos PMs sabem disso, eu sei disso, e mesmo assim me deixei iludir por números brilhantes.
O que aconteceu?
É essa história de desilusões e aprendizados que vou compartilhar com vocês agora.
Vamos começar pelo contexto
Sou GPM na Involves e possuímos um sistema SaaS para gerenciamento de trade marketing: o Involves Stage. Caso você não faça ideia do que seja trade, é a área da indústria responsável por todas as ações em pontos de vendas para aumentar a visibilidade da marca e as vendas. Para isso, existe a promotora que é quem faz todas essas ações acontecerem e executa a estratégia da indústria.
A minha squad tem o propósito de olhar a persona que faz a gestão dessa equipe de promotores: a supervisora. Essa pessoa acompanha as atividades, resolve os problemas do campo e precisa garantir ao máximo que os estabelecimentos recebam a execução perfeita.
Desde a formação do time, há pouco menos de um ano, olhamos para uma parte da jornada relacionada à gestão de performance da equipe. Porém, nesse começo de ano, eu quis expandir o nosso olhar para um outro galho da nossa árvore de oportunidades. Então, comecei o discovery para entender sobre a rotina de acompanhamento diário das atividades da equipe em campo.
Eu tinha duas expectativas em trabalhar com esse outro galho da árvore:
a) Expandir o canal que o time trabalhava, pois o foco estava no mobile e nesse galho poderíamos olhar para a web mais facilmente;
b) Encontrar oportunidades para tornar menos custosa uma atividade repetitiva e recorrente.
Sendo enganada pelos dados reluzentes
No Involves Stage, temos uma tela específica para a usuária fazer esse acompanhamento da equipe. Ela é utilizada não somente pelas supervisoras, mas também por quem trabalha na parte do escritório (backoffice) das indústrias e agências.
Por onde comecei o discovery? Olhando os dados, claro. Afinal, eu já sabia como e por que essa funcionalidade era usada (strike one), então só precisava entender se tinha um engajamento relevante.
Strike one: Se você não entrevistou a cliente, você apenas pode supor para que e por que ela está utilizando uma funcionalidade.
Pela ferramenta de análise de dados (Mixpanel), pude ver que essa tela é a 5ª funcionalidade mais acessada. Apenas para enfatizar, essa é uma posição bastante relevante dentro do nosso produto. Fazendo outros recortes, constatei também que o perfil “Supervisor” é quem mais utiliza e com uma frequência diária.
Com esse e outros ouros em mãos (strike two), “comprovei” a jornada que a usuária faz para completar essa atividade em sua rotina.
Strike two: “Uaaauuu, olha o quanto é utilizada! Com certeza é uma funcionalidade suuuper relevante na rotina das usuárias”. Esse foi o meu pensamento. De novo, os dados não podem nos dizer tudo, apenas a cliente poderia afirmar se a funcionalidade é realmente relevante.
Pensa comigo: nessa tela, a usuária tem o panorama geral de como está a equipe no dia. Qual é a jornada então? Acessar a tela, analisar os colaboradores, identificar aqueles com performance abaixo do esperado e agir. Para tomar uma ação, a usuária é direcionada para outras funcionalidades onde ela pode se aprofundar e entender o que está acontecendo. Jornada óbvia, certo? Certíssimo, Cláudia, agora senta lá.
Pelo Mixpanel, também analisei o fluxo que a usuária faz depois de acessar a funcionalidade. Ali confirmei que depois ela acessa a tela onde possui mais dados do colaborador e volta. Fazendo isso uma série de vezes. Assim, entendi que ela identifica um ponto de atenção, se aprofunda e volta (strike three), e faz isso quantas vezes forem necessárias.
Strike three: Aqui vou parafrasear o Gabriel Werlich, GPM da Involves. Como eu só conhecia parte da história da usuária, usei os dados que encontrei para completar as lacunas e se encaixar no meu discurso.
Tendo certeza da jornada e agora com esses dados grandiosos, eu estava empolgadíssima para entender mais sobre os problemas da tela (strike four) e pensar em apostas. Claro, entrevistando usuárias no meio do caminho para validar ou não as ideias de soluções.
Strike four: Admito que tenho até um pouco de vergonha de escancarar esse erro, mas, pelo aprendizado, vamos lá. O foco do trabalho de toda PM é resolver as dores das clientes e não problemas em telas. Ponto.
Os dados apenas nos contam “o que”, mas não o “porquê” ou “para que”
Provavelmente você já ouviu essa frase em algum lugar (possivelmente em inglês). Mas talvez não tenha parado para perceber o quanto ela é verdadeira até passar por um momento como esse.
Eu de fato fiquei muito animada em trabalhar em uma tela que era bastante acessada. Porque isso significava que as soluções que trouxesse teriam um grande alcance e que seria rápido obter feedbacks. Fiquei tão animada que foi fácil vender essa ideia para o time e para o meu líder.
Para ser bem sincera, como eu “conhecia” essa atividade da usuária, eu até tinha uma primeira aposta. Era uma ideia simples, baseada em algo parecido que fiz em uma empresa anterior e que tive um retorno muito positivo. A ideia basicamente é facilitar que a usuária identifique os casos mais urgentes para serem resolvidos primeiro.
Em paralelo, o UX designer já puxou uma dinâmica de análise heurística para identificar os pontos mais críticos da tela. Em um segundo momento, fez uma dinâmica de design studio para gerar ideias em cima dela. Ao final, tínhamos muitos acessos, muitas falhas heurísticas e muitas ótimas ideias de evolução. Olha só esse mar de oportunidades à nossa frente, não é mesmo?
Nesse meio tempo, começamos a fazer as entrevistas com as usuárias para validar se aquela primeira aposta era realmente uma boa ideia e se era um momento de dor para elas. Tivemos nossas primeiras confirmações de que era algo que fazia sentido dentro da rotina delas e o designer partiu para o protótipo.
Bom, talvez você tenha a impressão de que estava indo tudo bem, certo? Bons números, uma primeira aposta simples e validada por usuárias, o que poderia dar errado? É aqui que os quatro strikes entram.
Eu validei a dor e parte da rotina da usuária, mas comecei a descobrir que isso não acontecia na tela que estava estudando e nem da forma como achava.
Olhando agora os dados retirados do Mixpanel, naquela hora eu só podia afirmar que as usuárias acessam essa tela, mas não o como e nem o porquê.
Só porque uma tela é muito acessada não quer dizer que as usuárias a amem e muito menos que a utilizam com a finalidade com que nós, PMs e designers, imaginamos.
Descobrindo que toda minha vida era uma mentira em apenas 3 fatos
1. A melhor validação da primeira aposta
Durante uma entrevista com dois analistas do backoffice, eu e o designer investigamos quais eram os principais cenários que eles identificavam por primeiro para tomar uma ação. Esse entendimento era muito importante para validar a nossa aposta e encontrar um padrão entre os clientes.
A entrevista foi bem produtiva, eles reforçaram os principais cenários que nós já tínhamos mapeado. Mais para o final, pedi para eles compartilharem a tela e mostrarem como encontram esses cenários.
Um deles compartilhou, mostrou onde estavam as informações que precisava, qual a frequência que olhava e o que precisava fazer em seguida. Foi muito legal, pena que ele não saiu do dashboard. Nós conseguimos validar a dor e que faz parte da rotina, porém, essa rotina não acontece na tela que estava estudando.
Ok, aqui tem a primeira pulga atrás da orelha de que talvez as usuárias não sigam o fluxo de uso do produto que eu tinha imaginado.
2. O mapeamento do uso dos filtros na tela
Na primeira análise no Mixpanel, nós não tínhamos eventos nos filtros da tela, então fizemos isso no meio do trimestre. O objetivo de mapear os filtros era conhecer as combinações mais usadas para embasar a primeira aposta. Afinal, na tela onde você vê toda a equipe de campo (de 10 a 800 colaboradores), é importante fazer os filtros dos principais pontos de atenção, certo?
Errado.
Descobri que na verdade os filtros são pouco utilizados. Para ser exata, a cada quatro acessos na tela, temos apenas um uso de qualquer tipo de filtro. Considerando que você pode realizar diversos filtros em um único acesso, esse número era ainda mais intrigante.
Obs: Eu usei muito a palavra “intrigante” quando eu contava para outras pessoas sobre esse discovery para parecer menos desesperador.
Para completar, o filtro que é mais utilizado é o de nome do colaborador, ou seja, a usuária entra ali já sabendo quem precisa olhar. Ela não está buscando pelos pontos de atenção. Intrigante, não?
Aqui tem a segunda pulga atrás da orelha, de que talvez as usuárias não utilizem a tela como eu achava ou como ela foi “projetada” para ser usada.
3. “Sim, eu uso essa tela quando preciso investigar algo mais a fundo”
Em uma entrevista com um supervisor, ele comentou que costuma fazer o acompanhamento da equipe pelo aplicativo mobile. Ele também afirmou que acessa a funcionalidade pela web quando precisa entender um cenário específico e olhar a informação bananinha.
Parece ok, né? O único detalhe é que não temos a informação bananinha ali, esse dado está em uma segunda tela. Ele pode acessá-la tanto diretamente (que seria mais fácil) como por meio dessa funcionalidade.
Por que ele faz o caminho mais “difícil”? Não sei, talvez usabilidade, talvez ensinaram assim. O fato é que ele usa a tal da funcionalidade apenas como um meio para se chegar onde ele realmente quer.
Por fim, a terceira pulga: talvez o alto volume de acessos não seja para ver a tela em si, mas para se chegar a outras funcionalidades.
No fim, era tudo purpurina
Sobre a aposta inicial, de facilitar a identificação de pontos críticos, decidi colocar em produção principalmente porque o desenvolvimento era simples. Adivinhem o resultado: baixo engajamento, apenas 6% de conversão dentro do mesmo dia. Mesmo se não existisse pandemia, é bem provável que o resultado fosse o mesmo, porque foi o que o discovery escancarou no final.
Durante o discovery, foi fundamental pensar em entregas pequenas. Poderíamos ter dedicado muito mais tempo de todos do time para, por exemplo, fazer um redesign da tela toda.
O mais curioso é que se eu optasse pelo redesign, o volume de acessos iria permanecer o mesmo, aparentemente como algo positivo. Possivelmente as usuárias iriam elogiar porque “ficou mais bonito”, mas, no fim, iria resolver um total de zero problemas.
Tá, e o que aconteceu com o “fim” do discovery?
Como todo discovery, foi uma montanha-russa de sentimentos, certezas, supostas certezas e muitas dúvidas. Refleti bastante ao final sobre tudo isso e se foi um erro termos despendido esse tempo de estudo. Todo discovery joga um pouco de luz em um caminho obscuro e revela oportunidades que valem a pena aproveitar agora, oportunidades para o futuro ou falsas oportunidades.
Antes disso tudo, nós, enquanto Produto, tínhamos muita certeza do motivo que as usuárias acessam essa tela e o que fazem. Agora já descobrimos que não é bem assim. Percebi que tudo isso é só a ponta do iceberg e que daria para dedicar mais tempo, porém, não é algo que faz sentido para o time agora.
Por isso vamos parar por aqui.
Então, esteja sempre preparada e aberta para derrubar suas certezas.
Com esse discovery, também descobri alguns outros caminhos que as usuárias fazem para encontrar as mesmas informações. Um insight muito importante que vou olhar nos próximos meses, mas sem focar em uma funcionalidade específica.
Pode não ter sido a conclusão que eu esperava no começo, mas provavelmente ter percebido e aprendido com isso foi ainda mais valioso.
Apurando o faro para o ouro de verdade
Vejo que um dos principais aprendizados aqui foi no momento que apostei nessa funcionalidade por conta dos números, mas sem entender como ela se encaixa na jornada da nossa persona.
Eu estava buscando oportunidades em cima da tela e não nas dores e necessidades da usuária.
É engraçado que lembro de uma conversa com o meu líder em que discutimos sobre os próximos passos do time dentro do discovery. Eu comentei que estava confiante na primeira aposta, mas estava muito obscuro o que faria depois.
Olhando para trás agora, é óbvio que estava obscuro.
As entrevistas estavam mostrando que a job existia, mas não contratavam essa funcionalidade para solucioná-la. Com isso, não dava mais para seguir no mesmo caminho em que começamos o trimestre.
Algo muito importante também foi sempre voltar para a persona. Em toda discussão entre mim e o designer, voltávamos para a rotina da supervisora, suas dores, sua jornada e a nossa árvore de oportunidades. A pergunta sempre em alta era:
O que de verdade vai resolver um problema da nossa persona?
Isso nos deixou muito mais seguros em optar por não continuar nesse caminho.
Agora, vamos voltar a olhar para o galho que vínhamos trabalhando até então, porque ainda existem muitas oportunidades ali e que resolvem uma dor mais latente da usuária.
Como em todo processo de discovery, aprendi ainda mais sobre as usuárias e como elas usam o produto para resolver os seus problemas. Qual foi a última descoberta que você fez ao entrevistar uma cliente? Vamos continuar essa discussão sobre erros e aprendizados nos comentários. :)
