OKRs em Research Ops
Como recrutamento de pesquisa deixou de ser (só um pouco) uma pedra no sapato para se tornar um direcional
TL;DR
Cenário de recrutamento na Loft;
Eficiência de custos na operação;
A importância das OKRs na companhia;
Nossos erros medindo uma OKR para recrutamento;
Iniciativas para medir o processo;
Diários de uso contínuo;
Dashboard de dados de recrutamento direcionando;
Nossos principais aprendizados;
Os próximos passos.
O lado ruim de começar em uma área que ninguém sabe bem o que fazer é exatamente esse: ninguém sabe bem o que fazer. As coisas são mais incógnitas e mistérios e, no mundo de design, muito teste: tentativa, erro e quando tem um acerto, você já seguiu em frente para um próximo desafio.
O lado bom de começar em uma área que ninguém sabe bem o que fazer é, porém, é essa: a liberdade de criar. Para algumas pessoas pragmáticas demais (como eu), isso pode ser um pouco atormentador. Um terreno completamente livre, uma página em branco com infinitas possibilidades e um solo fértil sem clareza do que deve ser plantado.
Mas toda boa história começa assim.
Recrutamento de pesquisa na Loft
Eu acho que é quase unanimidade (quase mesmo, você já ouviu o episódio 1 de Bora falar de Ops?) que recrutamento é um dos maiores desafios que as pessoas que cuidam da operação de pesquisa enfrentam diariamente. Existem várias nuances quando falamos do pilar de gestão de participantes de pesquisa e na Loft nunca foi muito diferente.
Quando eu cheguei na Loft, a gente tinha isso um pouco solto. Tínhamos algumas iniciativas como a base pirata — uma base de participantes voluntários de pesquisa que a gente divulgou no linkedin, os beta-testers — lofters sem muito contato direto com produto que podiam participar de testes pontuais, a PMF — pesquisa de product market fit que a gente dispara semestralmente e também tem um opt-in para os clientes Loft sinalizarem que querem participar de eventuais pesquisas. E claro, a gente tinha (e ainda tem!) o time de CRM como uma linha auxiliar para disparo de pesquisas para nossa base de clientes, especialmente pesquisas quantitativas.
Diante disso, preciso admitir que o cenário era bem mais favorável que muitos que eu já ouvi e vivi por aí.
Só que como eu conto nesse artigo, quando fiz a meta-pesquisa no time de Design, recrutamento era uma linha muito mal vista entre as pessoas que fazem pesquisa (nesse conceito, englobamos researchers, designers, marketing e vários times de operações que também fazem pesquisa), sendo citado como um processo longo, burocrático e, acima de tudo, falho. Entre conversas e análises, percebemos que a média de tempo gasto em um recrutamento flutuava em torno de 14 dias. Sim, duas semanas pra recrutar. Quanto de tempo perdíamos nessa parte da operação que poderiam estar sendo usados de forma mais produtiva?
E, mais importante, o quanto dinheiro a Loft gastava ao sustentar esse processo?
Desse jeito, não tinha como ser de outra forma, decidimos que recrutamento iria direcionar todos os principais projetos de Research Ops.
Tá, mas como isso funcionou?
Na Loft, temos uma máxima a ser seguida que são as OKRs. Todo time e a companhia estabelece OKRs em cada quarter, com metas a serem perseguidas e batidas. Até então, as OKRs de Research Ops eram muito voltadas ao MASP — nosso repositório de conhecimento, e também ao engajamento das pessoas que fazem pesquisa com a realização de pesquisas. Número de estudos cadastrados, porcentagem de pessoas envolvidas com pesquisa no quarter, e algumas outras Health Metrics que não eram muito voltadas a melhoria da operação em si, e sim como as pessoas se relacionavam com os processos de pesquisa.
Tínhamos resultados bem legais com isso e algumas métricas acompanhamos até hoje, mas uma OKR é construída para direcionar o time em lugares que possam impactar de forma mais ampla. O direcional da Loft era o foco em cost efficiency (eficiência de custos), ou seja, o quanto cada iniciativa impactava no aumento da receita da Loft ou na diminuição dos custos. E trazendo esse contexto para a área de Research Ops, entendemos que a nossa missão era enxugar o processo de recrutamento, já que isso teria o maior impacto em redução de custos.
Logo, estabelecemos que nosso OKR seria reduzir o tempo de recrutamento em pesquisas.
E parecia que definir isso ia ser um caminho das rosas, mas teve bastante espinhos também.
Os espinhos
Como eu disse pra vocês, nossa estimativa de tempo gasto em recrutamento era de 14 dias corridos (guardem essa palavra!). Na época, tínhamos pesquisas que chegavam até 21 dias de recrutamento e isso estava muitíssimo longe de ser o ideal.
Só que a coisa de começar um processo de medir algo novo é que os dados anteriores não são tão confiáveis quando deviam, e com mais dados, mais nuances enxergávamos que deixava a OKR bem mais complexa do que quando definimos.
Estabelecemos uma sync de Research Ops pra debater a OKR a cada duas semanas, ou seja, a cada catorze dias, a gente mudava mais um detalhe dessa OKR. Trazendo alguns entraves desse processo:
- Havia uma discrepância muito grande entre recrutar para pesquisas quantitativas e para qualitativas, medir esses dois pesos na mesma moeda era um tiro no pé e deixava nossos dados ainda mais não-confiáveis e instáveis com uma alta margem de erro.
- 14 dias eram muitos dias, mas também um número irreal. As pessoas não trabalhavam nos finais de semana, então porque estávamos considerando isso?
- De fato, algumas pessoas chegavam a duas semanas fazendo recrutamento, entre a definição do perfil até o envio dos termos de consentimento (que era onde definimos que a etapa acabava), mas elas não faziam atividades de recrutamento durante todos os dias, existia um espaço entre tarefas. Deveríamos olhar para os dias que as pessoas passavam, efetivamente, fazendo recrutamento?
Como medir
A melhor forma que encontramos de acompanhar os diversos recrutamentos que podiam acontecer (time grande, né?), era: acompanhar os pedidos de suporte vinculados ao recrutamento, assim conseguíamos datar o início do processo até o fim — e início da primeira entrevista e a etapa de execução.
Mas não era suficiente, porque não conseguíamos acompanhar os dias que as atividades do processo realmente aconteciam. No quarter anterior, a Lidiane Santana, nossa researcher, tinha implementado uma pesquisa com diário de uso contínuo e criado um modelo para acompanhar o dia-a-dia de alguns usuários.
Com esse modelo já pronto, foi fácil entender que precisávamos de algo assim para acompanhar uma métrica com tanta profundidade. Logo, a iniciativa principal foi: todo mundo que fizer recrutamento para pesquisas qualitativas, dentro do time de pesquisa, deve preencher um diário de uso contínuo contando: por quanto tempo operou no recrutamento, quais foram as entraves desse dia e qual etapa do processo realizou em cada data. Para os designers, isso era opcional, mas fico feliz em dizer que alguns aderiram para nos ajudar!
Acompanhando a OKR
Além da gente ter uma planilha da companhia inteira com nossas OKRs, eu precisava de alguma coisa que fosse mais Research e também trouxesse insumos importantes pra facilitar o processo além de trazer só dados.
Assim, nasceu a Dashboard de Recrutamento (aceito dicas de naming!): um dash criado no Looker (falecido Data Studio) que, além de contar como estava indo o tempo médio do recrutamento, trazia dados como: taxa de conversão de cada canal de comunicação com cliente, a taxa de adesão de cada público com nossas pesquisas e também qual das nossas bases proporciona leads mais quentes para participar das pesquisas.
As flores e os aprendizados
Depois de um quarter acompanhando e perseguindo a redução dessa métrica, preciso dizer que não alcançamos o que nos propusemos no começo. É, gente, nem tudo vai dar certo de cara. Se desse, não seria um desafio. Mas preciso dizer que, apesar de não conseguirmos chegar onde queríamos, tivemos alguns aprendizados muito legais.
- A nossa base era legal, mas não tínhamos dados o suficiente para fazer perfilamentos bem específicos, nos fazendo recorrer para o time de CRM que tinha os dados, mas tinha muitos usuários não interessados. Isso aumentava nosso tempo gasto no recrutamento porque tínhamos que disparar, às vezes, pra muito mais gente e mais vezes até conseguirmos um número bom de entrevistados.
- Nossa base de CRM não tinha muitos dados confiáveis (são milhares de pessoas, afinal), o que fazia nosso esforço em recrutamento e screener ser dobrado para confirmar que aquelas pessoas eram do perfil que precisávamos em cada pesquisa. Isso adicionava uma nova etapa no processo, até: a de validação de dados.
- Quando tínhamos perfis MUITO ESPECÍFICOS (no estilo: pessoas que comparam apartamentos que foram reformados e ficam em áreas propícias a alagamento na Grande São Paulo), a gente aprendeu que o melhor caminho era ligar: então aprendemos a usar o Twilio, nossa ferramenta de comunicação de atendimento. Era um processo muito efetivo, embora longo.
- As pessoas não são fãs de email e alguns bloqueiam o nosso número oficial, então descobrimos (mais uma vez: valeu Lidi) que trazer o nosso whatsapp como link no corpo do email abria margem para mais conversa e para um recrutamento mais fluido.
- As pessoas que fazem pesquisa definitivamente não passavam o tempo todo do processo de recrutamento fazendo recrutamento em si, então aprendemos que deveríamos seguir uma métrica mais clara: dias úteis executando recrutamento.
- Pra OKR funcionar, temos que medir por muito mais tempo por dois motivos: analisar sazonalidade e ondulações de tempos em períodos específicos do ano e não tínhamos uma quantidade de recrutamento suficiente para que os dados fossem tão confiáveis assim.
No fim do quarter, por mais que os aprendizados fossem inúmeros: conseguimos reduzir o processo de 14 dias para 9, ou de 10 dias úteis para 7. Não era nossa meta, mas com os ajustes certos, tínhamos um direcional cada vez mais claro para os próximos meses. Apenas com esse alcance e redução, conseguimos diminuir o custo em recrutamento em torno de R$ 3K por pesquisa.
Próximos passos
Investir em recrutamento com certeza foi algo que deu retorno, por isso absorvemos o aprendizado e redesenhamos a OKR para o último quarter de 2022: Reduzir o tempo de recrutamento de pesquisas qualitativas de 7 para 5 dias úteis.
Ainda estamos no meio do processo, mas continuamos com os diários de uso contínuo e experimentando novas ferramentas para agilizar a operação, como novas formas de recrutar participantes de pesquisa, sempre focando em menos esforço e mais impacto e conversão e, agora, em usar uma ferramenta para automatizar todo esse processo e reduzi-lo ainda mais.
Recrutamento ainda não deixou de ser uma pedra no sapato e acho que nunca deixará de ser, não completamente, mas ter priorizado e colocado em tanta evidência e destino dos esforços de Research Ops foi o primeiro passo para que, no próximo semestre, eu venha contar pra vocês como a gente conseguiu alcançar essa OKR através de muitos dados e automatização das tarefas operacionais.
Mas essa eu vou deixar para o próximo artigo!
–
Agradecimentos especiais a todo time de Design da Loft e principalmente o time de pesquisa que sempre topa esses desafios, me sinto privilegiada de contar com vocês nessa jornada: Lidiane Santana, Melissa Cabral, Lucas Lazarte, Larissa Alvarenga, Elisa Volpato, Lara Paes, Paula Pinto — e por último, o Jorge Lira que saiu antes da gente terminar, mas contribuiu bastante para o início desse projeto.
Ao João Henrique Oliveira que me deu altas aulas de Data Studio.
E à comunidade de Research Ops que sempre me impulsiona a compartilhar os erros e aprendizados nesse desafio.
