Como acompanhamos o Product-Market Fit na Loft
Como adaptamos, questionamos e aprendemos com o processo para criar uma pesquisa recorrente que virou referência por aqui
Quando comecei como pesquisadora na Loft, tive a sorte de chegar bem em um momento em que estávamos buscando uma forma alternativa de medir a experiência dos clientes com o produto. E começamos com a Pesquisa de Product-Market Fit (PMF). Repetimos a pesquisa a cada 6 meses e já estamos na quarta edição. E aproveitei para escrever um pouco sobre os aprendizados neste período.
A pesquisa de Product-Market Fit é uma forma de medir o quanto estamos próximos do… market fit. E o Product-Market Fit que é aquele momento mítico e maravilhoso em que o CAC (custo de aquisição de cliente) diminui, os clientes brotam sem esforço e a roda começa a girar, vem o break-even, todo mundo feliz. Mais sobre isso neste artigo de Marc Andreessen.
A pesquisa é vista como uma alternativa ou complemento ao (polêmico) NPS e se baseia em uma pergunta principal:
Os “muito decepcionados” são as pessoas que dependem do seu produto, que veem valor, diferencial e que não iriam facilmente para um concorrente. Para atingir o market fit, você tem de alcançar 40% de “muito decepcionados”.
A proposta da pesquisa original é do Sean Ellis. E ficou famosa quando aplicada com a startup SuperHuman.
Quando cheguei na Loft como pesquisadora, este foi o meu primeiro projeto. Eu já havia participado de uma pesquisa similar antes, e achei legal poder aplicar de novo. Organizamos o questionário, eu puxei a base, enviamos para milhares de clientes para conseguir… pouco mais de 50 respostas válidas. Não foi um sucesso. :(
Mas o que aconteceu de errado? Primeiro, miramos em apenas um público: compradores. A Loft é um marketplace de imóveis, que envolve pessoas compradoras, pessoas vendedoras, corretoras e, hoje, imobiliárias. Mas naquela primeira edição, mandamos apenas para pessoas compradoras que haviam acabado de assinar um contrato com a Loft, e isso reduziu muito o potencial de respondentes.
Para piorar, lendo as respostas (há um campo aberto para justificativa), muitas delas não faziam sentido — parecia que as pessoas não tinham entendido a pergunta principal: marcavam "muito decepcionado(a)", porque estavam decepcionadas com a Loft (mais ou menos o contrário do que esperamos). E isso reduziu ainda mais a quantidade de respostas válidas.
Por fim, eu (ainda) não tinha percebido que é muito diferente medir o market fit de um produto de uso recorrente (como um aplicativo de investimentos) de medir o market fit de um produto que pode ter um uso único na vida. Temos uma jornada longa de compra de imóveis, mas depois que termina… termina. E afinal, quantos imóveis você já comprou na vida? Isso fez a gente questionar a forma como conduzimos a pesquisa — e até a viabilidade de continuar perguntando esta pergunta.
Primeiro aprendizado: seja pessimista (ou a realista?) com a taxa de resposta
Mesmo com um resultado meio desanimador, decidimos manter a pesquisa a cada 6 meses como um indicador da experiência. Assumindo que teríamos uma taxa de resposta baixa, precisamos ampliar o escopo e a base para a qual enviamos. Passamos então a mandar para todos os clientes cadastrados na Loft nos últimos 6 meses. E para qualificar a resposta, perguntamos logo no começo em que etapa da jornada de compra (ou venda) estavam.
Isso foi ótimo, inclusive, para conseguir separar o product-market fit por etapa (para nós, uma quebra bem importante é antes e depois da assinatura do contrato de compra e venda). Incluímos também as pessoas vendedoras e corretoras — mas continuamos medindo o market fit de cada público de forma separada.
Para incentivar as respostas, decidimos oferecer uma recompensa. Mas como oferecer algo relevante para pessoas com médio a alto poder aquisitivo, sem quebrar o nosso orçamento? Foi então que a Elis Asberg, que era pesquisadora aqui em Marketing, foi genial: em vez de recompensar cada participante diretamente, poderíamos fazer uma doação em seu nome. Então combinamos que “Para cada respondente vamos doar 10 reais para o Instituto Vivenda, que faz reformas em comunidades carentes”. O Instituto já tinha uma parceria com a Loft e foi super receptivo à proposta (spoiler: já reformamos a casa de duas famílias ❤). Sem falar que seria um pagamento só, em vez de centenas de pequenos pagamentos para respondentes.
Por fim, revisamos a forma de comunicação com os respondentes: de um e-mail com “cara de automático”, passamos a mandar um e-mail com remetente de verdade, uma pessoa por trás (eu, no caso). Tiramos o “no-reply”, e passei a responder um por um os e-mails de clientes que tinham dúvidas sobre a pesquisa ou só queriam reclamar de uma visita não realizada.
Como resultado, na segunda edição passamos de 50 para mais de 1000 participantes válidos. Foi tão acima do esperado que estourou o orçamento de recompensas e tivemos que encerrar o questionário. Um ótimo problema na vida da pessoa pesquisadora, não é mesmo?
Hoje trabalhamos com uma taxa de resposta aproximada de 3% entre clientes e 16% a 50% entre pessoas corretoras.
Segundo aprendizado: adapte a pesquisa para cada caso
A pesquisa de Product-Market Fit foi muito bem aplicada com a startup SuperHuman, que é um serviço de e-mails. Quem usa este e-mail usa todo dia — ou quase. Então a pergunta faz muito sentido.
Na Loft, os clientes finais entram, fazem uma compra e talvez nunca mais voltem. Acontece de pessoas vendedoras terem mais de um imóvel, mas não é o mais comum. E depois de fazer a compra, como a pessoa se sentiria se não pudesse mais usar a Loft? Talvez não sentisse… nada. Porque, afinal, não precisa mais da Loft.
Por isso, adaptamos sutilmente a pergunta a cada caso:
- Para quem ainda não comprou / vendeu: como se sentiria se não pudesse mais usar a Loft nesta compra / venda?
- Para quem já comprou / vendeu: como se sentiria se não pudesse mais usar a Loft em uma compra / venda futura?
- E para pessoas corretoras: aqui a pergunta tá ótima, mantivemos bem próxima do original, porque a relação que elas têm com a Loft é mais perene.
Mesmo assim, continuamos tendo muitas respostas de pessoas que não entenderam bem o princípio da pergunta: haviam respondido “ficaria muito decepcionado”, mas na justificativa diziam algo como “a Loft não me ajudou”. Alguns questionam se a Loft está para fechar ou se serão abandonados no meio do processo (era só uma hipótese, gente, tá tudo bem por aqui).
Na prática, acabamos por ler todas as justificativas, e classificando se são válidas ou não. Para facilitar o processo, na última edição incluímos uma pergunta acessória de CSAT:
Com esta pergunta extra ficou mais fácil encontrar os inválidos: se a pessoa marcou que ficaria “muito decepcionada”, mas ao mesmo tempo marcou 1 ou 2 no CSAT, provavelmente ela não entendeu bem a pergunta — e não usamos a resposta nos resultados.
Terceiro aprendizado: não acredite em uma pergunta só, nem em uma pesquisa só
A pergunta de Product-Market Fit é vista por alguns autores como uma alternativa ao NPS, por medir engajamento e satisfação ao mesmo tempo. Mas, como o NPS tem seus problemas, a PMF também não é infalível. Será que ela é a melhor forma de medir a qualidade da experiência e o engajamento dos clientes com a Loft? Sozinha, não. Mas em conjunto com métricas de experiência e outras pesquisas, ajuda muito a ter uma visão de como estamos, onde melhoramos e onde ainda temos muito caminho a seguir.
Falei muito da pergunta principal, mas na prática a PMF tem várias outras perguntas que são interessantes de fazer e acompanhar ao longo do tempo. E também fomos adaptando a cada edição para acompanhar temas quentes em cada trimestre. Por exemplo:
- Como a Loft pode melhorar para você (ou para seus clientes, no caso de corretores)?
- Qual o principal benefício que você obtém com a Loft?
- Qual o perfil de clientes que mais se beneficia com a Loft
Esta também tem sido difícil de aplicar e as respostas não eram muito profundas — acabamos eliminando a última edição. - Para corretores: o que te motiva trabalhar com a Loft?
- Como você descreveria a Loft para alguém que não conhece?
Esta adicionamos nas últimas edições para entender se estamos explicando bem o que somos a se a proposta de valor é percebida, e é interessante acompanhar as diferentes respostas de compradores, vendedores e corretores com diferentes graus de envolvimento com a Loft.
Ah, Elisa, mas vocês não têm NPS? Sim, temos. Vários dos pontos que aparecem na PMF também são vistos nas pesquisas de Customer Experience (NPS, CSAT e CES). O bom da PMF é que temos um espaço maior para que os clientes expliquem os problemas — sim, é uma pesquisa quanti com vários campos abertos. Não é fácil de classificar tudo, mas vale a pena. E, confesso: me divirto lendo os campos um por um.
Quarto (e último) aprendizado: respondentes hoje, leads de pesquisa amanhã
Como a minha parceira Lua já descreveu lindamente neste artigo, recrutamento é a eterna pedra no sapato das pessoas pesquisadoras, mas aos poucos vamos encontrando saídas para facilitar o dia-a-dia. E uma das coisas que tem funcionado aqui é aproveitar cada pesquisa enviada para a base como forma de captar opt-ins de pesquisa. Ao final do questionário da PMF, pedimos autorização dos respondentes para enviar outras pesquisas como esta no futuro.
Na última edição, tivemos 60% de aceitação para entrar na base de pesquisa. E o bom é que já temos várias informações sobre esses clientes para chamar para recrutamentos futuros: sabemos o estágio da compra ou venda, se estão felizes com a Loft ou não. Também podemos filtrar por gênero, renda e faixa etária — que são dados que hoje não temos em nosso CRM, pois não são parte do cadastro, mas são muito úteis para pesquisa. E o principal: sabemos que as pessoas estão dispostas a responder pesquisa. E a taxa de conversão dos recrutamentos nesta base costuma ser bem mais alta do que na base de clientes Loft em geral.
Hoje a Product-Market Fit é uma pesquisa recorrente aqui na Loft e usada como referência em vários contextos. Isso é ótimo, mas ainda podemos melhorar. Para a próxima, queremos um questionário mais enxuto e focado nos temas relevantes do momento, melhorar a taxa de conversão do e-mail (testando diferentes abordagens) e criar processos para facilitar a análise dos resultados. Também seria ótimo conectar melhor as respostas com os dados de CRM.
E, apesar de termos muito mais do que 50 respostas, a amostra ainda não é tão grande quanto a gente gostaria. Mesmo chegando a quase 2000 respondentes em algumas edições, ao fazer quebras e cruzamentos, muitas vezes o universo fica pequeno e a comparação entre as edições, estatisticamente prejudicada. Mas o importante é: sabemos os limites da técnica e combinamos os aprendizados daqui com os aprendizados de outras pesquisas para aumentar a confiança. O sonho é triangular para conquistar. A gente um dia chega lá.
E você? Já aplicou a PMF alguma vez? Concorda ou discorda de tudo? Manda aqui nos comentários ou me chama para um papo. ;)
Meus agradecimentos ao time de pesquisa na Loft, que me ajudou na criação e concepção do texto: Paula Pinto, que é a fada madrinha desta pesquisa, Luana Cruz, Lara Paes, Melissa Cabral e Lidiane de Santana, e especial para o Thiago Thomé, que deixou meu texto mais bonito com a ilustração. ❤
Mais sobre Product-Market Fit:
Fundamentals of Product Market Fit — Andy Sparks
