Os Desafios do Recrutamento e Agendamento de Usuários para Testes de Usabilidade e Entrevistas

Coisas que aprendemos e ainda estamos tentando entender


Como foi explicado no excelente post escrito pelo Caio Gama, temos um time dedicado e focado em entender a fundo o comportamento de todos os nossos usuários; temos um processo baseado em metodologias e frameworks já utilizados e comprovados por grandes empresas; temos uma série de hipóteses a serem validadas e temos uma base grande de usuários. Então é só começar a conversar com as pessoas e gerar os insights, correto? Errado!

O que muitas pessoas esquecem de considerar no planejamento de entrevistas e testes de usabilidade é que existe uma fase extremamente importante e trabalhosa entre a estruturação e a entrevista em si: o recrutamento e o agendamento.

Pode parecer simples, mas a verdade é que essa etapa demanda bastante esforço, e quando negligenciada pode impactar, e muito, no cronograma e no resultado da pesquisa.

Empresas com muito recurso financeiro geralmente optam por contratar serviços especializados em recrutamento, o que pode chegar a custar mais de R$10.000. Além disso, como a empresa recrutadora tem uma obrigação, como prestadora de serviço, de obter um número específico de usuários, muitas delas acabam "apelando" em situações de urgência, quando a dificuldade de se conseguir a quantidade contrata é muito alta. Aposto que muitas pessoas aqui já foram chamadas para participar de pesquisas e focus groups, onde o recrutador pediu coisas como "não diga que você estuda/trabalha com Comunicação", ou "diga que você tem mais de 3 televisões em casa". E antes mesmo da pesquisa começar os resultados já estão comprometidos e o investimento com certeza não terá o retorno esperado.

Isso tudo nos leva a um ponto importante, que gostaria de citar antes de entrar nas questões de recrutamento propriamente ditas.

COMO DEFINIMOS O NÚMERO DE USUÁRIOS PARA UM TESTE OU ENTREVISTA

Seguimos a risca a metodologia de Jakob Nielsen (a.k.a um dos pais da usabilidade): 5 usuários são o suficiente.

Obviamente esse número não foi definido ao acaso, e foram elaborados diversos estudos para que ele fosse validado. Não vou descrever aqui como foram os estudos, a equação gerada e todos os argumentos que sustentam esse número (afinal esse não é o objetivo desse artigo), quem quiser pode ver eles aqui e aqui. Ao invés disso, vou citar algumas colocações dele que, ao meu ver, são muito importantes (obs: tradução livre feita por mim):

Conforme você adiciona mais e mais usuários, você aprende cada vez menos porque você continuará vendo as mesmas coisas de novo e de novo. Não existe necessidade de continuar observando a mesma coisa várias vezes, e você estará muito motivado para voltar à prancheta para redesenhar o site para eliminar problemas de usabilidade.
Depois do quinto usuário, você está perdendo o seu tempo observando repetidamente as mesmas descobertas, mas não descobrindo nada muito novo.
No teste com usuários, nós focamos na funcionalidade de um website para ver quais elementos de design são fáceis ou difíceis de usar. A avaliação da qualidade de um elemento de design independe de quantas pessoas o utilizam.

E a minha favorita

[…] a grande maioria da suas pesquisas com usuário deve ser qualitativa — sendo assim, focada em coletar insights para guiar o seu design, e não em números para impressionar as pessoas em um PowerPoint.

NOSSO PROCESSO

Devido ao custo-benefício, nós da equipe de Research & Usability decidimos cuidar de todo o processo, sem depender de empresas terceirizadas. Seguimos as seguintes etapas para recrutar usuários:

  • Definimos a data de início das pesquisas e organizamos os horários que elas vão ocorrer.
  • Vemos quantos usuários que entraram recentemente em nossa base de dados possuem o perfil que precisamos, e definimos a quantidade de pessoas para quem vamos enviar o convite.
  • Disparamos um e-mail marketing convidando esses usuários a participarem o teste, com um link para eles mesmos efetuarem o agendamento nos dias e horários que definimos previamente. Para nos auxiliar nisso, utilizamos uma ferramenta chamada Reservio. Ela é a melhor ferramenta? Não. É a mais fácil de configurar? Não. Então por qual motivo escolhemos pagar por uma ferramenta assim? Pelo simples fato dela ser uma das únicas em português.
  • Oferecemos sempre uma bonificação: para nossos Consumidores (aqueles que estão buscando um imóvel) damos um vale-presente da Livraria Cultura no valor de R$80,00. Para nossos Anunciantes (corretores e imobiliárias que anunciam no portal) oferecemos um upgrade na conta por 1 ou 3 meses. Para nossos Proprietários (pessoas que não são corretores mas que anunciam seus imóveis gratuitamente em nosso Portal) oferecemos um destaque para o imóvel anunciado no resultado de busca.

DESAFIOS QUE ENCONTRAMOS NO CAMINHO

Com certeza a parte mais difícil tem sido justamente o recrutamento de usuários. Alguns pontos são:

  • Uso temporário: diferente de muitas empresas, nossos produtos para Consumidores e Proprietários não são de uso contínuo (como apps de banco, Waze, etc.), e a necessidade que atendemos não surge em intervalos pequenos de tempo (como Uber, AirBnb, etc.). Nossos consumidores e proprietários nos utilizam, juntamente com nossos concorrentes, de maneira intensa por 2, 3, até 6 meses. Depois disso eles podem passar anos, ou até nunca mais nos usar. Isso dificulta o recrutamento pois raramente temos "fãs" que se empolgam com a possibilidade de conhecerem a empresa e participarem da construção do produto. Isso tem impacto direto no item abaixo.
  • "Bolo": quando disparamos o convite por e-mail, todas as vagas são preenchidas em minutos. Temos uma enxurrada de pessoas entrando em contato com nossa equipe de Relacionamento com o Consumidor pedindo para participar, que não conseguiram agendar, etc. Mas quando chega a data do teste, as pessoas simplesmente não aparecem, sem dar qualquer satisfação. Isso é ainda pior quando a pessoa agenda um horário para a semana seguinte: o final de semana com certeza a fará esquecer do teste. Isso nos prejudica bastante, pois temos que estender o teste, atrasando outras atividades.
  • Atrasos: sabemos que São Paulo não é uma cidade fácil de se locomover. Sendo assim, atrasos são comuns e constantes. Isso acaba atrapalhando em alguns momentos, pois ou deixamos a outra pessoa que chegou no horário esperando, ou corremos com o teste para evitar mais atrasos.
  • Estranhos: nossos pais sempre nos recomendaram não falar com estranhos, certo? Bom… no nosso caso é impossível evitar. Não sabemos quem estamos trazendo para dentro da empresa. Embora 99% da vezes isso não seja um problema, já passamos por um caso onde tivemos que acionar a segurança para remover um indivíduo que chegou completamente alterado e se recusava a fazer o cadastro para entrar no prédio.
  • "Migué": muitas vezes temos necessidades específicas, como "testar algo apenas com usuários que utilizam nossos Apps". Por mais que a gente filtre isso quando estamos montando a base, sempre existe aquela pessoa que "usou apenas uma vez o app", se interessa pela bonificação e se cadastra para o teste. Nesses casos, acabamos perdendo tempo e dinheiro, já que dificilmente os insights gerados poderão ser utilizados.
  • Receio: muitas pessoas ficam intimidadas com o fato de estarem indo para um "teste". E o fato dele geralmente ser conduzido em uma sala de reunião acaba potencializando essa sensação. Isso pode acabar enviesando alguns resultados. Um exemplo são usuários que acabam se esforçando mais do que o normal para realizar uma ação.

ALGUMAS POSSÍVEIS SOLUÇÕES… QUE NEM SEMPRE SE APLICAM A NÓS

Com certeza vocês devem ter pensado em algumas coisas para resolver os problemas acima. Nós provavelmente testamos algumas delas, e esses foram os resultados:

  • Teste remoto: essa solução resolveria praticamente todos os nossos problemas, correto? Nós também acreditamos nisso, mas esbarramos em uma barreira: embora a gente disponha de Personas, os perfis dos nossos usuários são os mais variados possíveis, e sua grande maioria utiliza e conhece apenas o básico da tecnologia. As ferramentas que encontramos para realizar o teste remoto com screen recording possuem interações muito complexas e são no geral em inglês, ou seja, as instruções que ajudariam a diminuir a complexidade não servem de muita coisa. Além disso, existe a questão da dependência e da confiança na ferramenta, que pode nos deixar na mão (faz alguns meses que estamos esperando uma gravação-teste que fizemos usando Marvel + Lookback).
  • Pesquisa de Guerrilha: esse é um método que gostamos muito, gera ótimos resultados e inclusive já aplicamos. Sair na rua e entrevistar pessoas é uma experiência muito legal. Porém nem sempre podemos utilizá-la. Usamos para coisas como taxonomia, iconografia, semiótica, fluxo, etc. Mas para casos mais específicos precisamos de usuários que de fato estejam procurando/vendendo/trabalhando imóveis, pois seu comportamento, necessidades e urgência afetam a perfomance, o entendimento e a relação com o produto.
  • Teste Interno: também já fizemos pequenas entrevistas e testes com os colaboradores da empresa. Como na Pesquisa de Guerrilha, não é um método que podemos usar sempre, uma vez que as pessoas conhecem e já estão acostumadas com o produto. Elas podem acabar relevando detalhes importantes ou até mesmo focar mais em dar suas sugestões e ideias do que executar o teste.
  • Monitoramento: utilizamos ferramentas como Jaco e Inspectlet para gravar sessões de usuários utilizando nossos produtos. Isso é algo muito bom para a geração de hipóteses e interpretação de dados, mas é muito difícil saber o motivo pelo qual ele está realizando certas ações (ou deixando de realizar) quando não se pode perguntar ao usuário o que ele achou, sentiu, percebeu, etc.
  • Bonificação em dinheiro: sabemos que isso ajudaria a motivar os usuários a virem para o teste, mas a não ser que seja uma boa quantia (e aí compensaria contratar uma empresa) , a bonificação não é garantia de presença. Além disso, estamos localizados próximos da Av. Paulista e fatores como chuva, trânsito, manifestações, etc. provavelmente superariam esse incentivo.

NOSSAS DESCOBERTAS E PRÓXIMOS PASSOS

Infelizmente não temos uma fórmula mágica, nem a ferramenta perfeita para resolver todos esses problemas, mas fazendo alguns testes descobrimos algumas coisas que estão nos ajudando:

  • Em todos os testes e entrevistas que fizemos, os horários da manhã tem o pior aproveitamento. O "bolo" é quase certo. Estamos tendo bons resultados com agendamento das 15h às 16h, e das 18h às 20h. Atualmente estamos com uma taxa de presença que varia de 50% a 55% das pessoas que agendaram. Além disso, utilizamos a parte da manhã para refletir e discutir sobre as informações que obtivemos no dia anterior.
  • Não fazemos mais agendamentos longos, que chegam até a semana seguinte. O fim de semana é um grande inimigo nessas horas. Procuramos fazer o disparo do convite na segunda-feira de tarde, disponibilizando horários até quinta-feira. Sexta se provou um dia propício para "bolos", então utilizamos ele para organizar os arquivos e insumos. Se necessário, fazemos um novo convite na semana seguinte. Quanto mais longe o dia do teste está do dia que o usuário fez o agendamento, maiores são as chances dele não comparecer.
  • Reminders tem sido nossos amigos. Um dia antes do horário agendado, a própria ferramenta do Reservio envia um e-mail lembrando do compromisso. Além disso, ligamos para cada um dos usuários agendados para aquele dia para confirmar a presença. Isso tem nos ajudado tanto com a taxa de presença quanto na organização, pois sabendo que um usuário não irá vir nos possibilita tentar agendar um outro interessado e até mesmo utilizar aquele tempo de maneira mais produtiva, sem ficar esperando por 30 ou 40 minutos por alguém que não vai aparecer.
  • Estamos cadastrando usuários que não conseguiram se inscrever em uma lista de interesse. Enviar o convite para essa quantidade de usuários reduzida se provou tão eficiente quanto disparar para uma base muito maior de novos usuários, mantendo a taxa de presença em 50%.

Agora estamos nos preparando para testar algumas coisas novas, entre elas encontrar uma maneira de ir até o usuário ao invés de fazer ele vir até nós, e utilizar ferramentas como o Intercom em conjunto com as ferramentas já citadas de gravação de sessão para interagir com o usuário no momento que ele estiver navegando.

E A SAGA CONTINUA

Sabemos que o recrutamento e agendamento de usuários é uma dor que todos na área de UX que já fizeram testes de usabilidade e entrevistas sentiram em algum momento, e estamos ansiosos para dividir os resultados nas nossas futuras experiências para tentar ajudar a resolver os desafios desse processo :)