Vai fazer pesquisa com usuário? Uma lista de perguntas para não fazer
Como descobrir o que você precisa sem cair nos erros comuns
O ano é 2021 e a pesquisa em experiência do usuário se mostra cada vez mais relevante como meio para se aprender sobre as pessoas que usam determinado produto. De acordo com o Panorama UX, entrevistas e questionários online foram os métodos mais usados em 2019 — e desconfio que sigam sendo ainda hoje. No PagSeguro, aproveitamos esses momentos para aprender o máximo possível, afinal, a oportunidade de estar de frente com um usuário — pela câmera, porque ainda estamos em uma pandemia! — é realmente valiosa.
O problema começa quando isso nos leva a focar mais no que queremos descobrir do que em como perguntar, o que pode gerar resultados não tão relevantes ou pior — não tão confiáveis.
Em ResearchOps damos suporte a todo o time de design, orientando pesquisas que ajudam na tomada de decisão e apoiando designers durante o planejamento e análise de resultados. Nesse processo, fazemos curadoria de conteúdos disponíveis online para compartilhar com a equipe — já que muita gente tem produzido materiais relevantes em português, como esse artigo super didático da Sheylla Lima sobre questionários. Ocasionalmente, também produzimos materiais instrutivos focados em necessidades específicas do nosso contexto.
Recentemente, por exemplo, identificamos alguns padrões e “vícios” ao formular questões — seja para questionários online, entrevistas ou testes de usabilidade — que acabavam induzindo o usuário ou gerando resultados pouco consistentes. Esse é um trabalho bastante difícil quando consideramos a quantidade de vieses cognitivos possíveis — o diagrama abaixo ilustra 188 — que afetam nossa percepção (seja ao formular ou responder perguntas, entre muitas outras coisas):
Foi então que, a partir disso, nasceu este guia, com um apanhado das principais perguntas-problema que identificamos e sugestões de caminhos possíveis para cada caso. Vale lembrar que essas são orientações que partem de boas práticas de UX Research e fazem sentido no nosso contexto. Abaixo, compartilho algumas delas, todas válidas para pesquisas quantitativas e qualitativas.
1. Perguntas que podem ser respondidas com “sim” e “não”
🚫 “Você gosta de usar o produto x?”
Pode parecer óbvio, mas perguntas que podem ser respondidas com “sim” ou “não” não deveriam fazer parte da sua pesquisa. Isso porque esse tipo de enunciado deixa de explorar as motivações da pessoa pesquisada e não traz informações relevantes. A exceção à essa regra se dá quando queremos “filtrar” os participantes por algum tipo de hábito ou característica demográfica, por exemplo — nesse caso, tá liberado.
Em vez disso, pergunte…
✅ “O que você mais gosta e menos gosta ao usar o produto x?”
Desse modo você pode entender melhor o ponto de vista do usuário e ainda descobrir coisas inesperadas, que só uma pergunta aberta e exploratória poderia trazer. Em pesquisas quantitativas, um caminho possível é pensar nas hipóteses já existentes e conhecidas pelo time e usá-las como alternativas de respostas, incluindo uma opção aberta para que o respondente possa incluir algo que não esteja listado.
2. Perguntas que partem de falsas premissas
🚫 “Você prefere usar o app para fazer pagamentos porque assim economiza tempo?”
É comum usarmos premissas e hipóteses como se fossem verdades, mesmo quando não há evidência para isso. Perguntas como essas são ineficazes porque não sabemos se a razão do usuário usar o app é porque ele o ajuda a economizar tempo. Além disso, geram respostas de “sim” e “não” que não nos ajudam a identificar problemas e necessidades.
Em vez disso, pergunte…
✅ “Qual app você prefere para fazer pagamentos? Por quê?”
Nessa outra abordagem, podemos descobrir se existe de fato uma relação de preferência atrelada à economia de tempo ou se há outras razões que motivam o usuário. Em pesquisas quantitativas, um caminho possível é pensar nas hipóteses já existentes e conhecidas pelo time e usá-las como alternativas de respostas, incluindo uma opção aberta para que o respondente possa incluir algo que não esteja listado.
3. Perguntas que dependem de conhecimento prévio do usuário
🚫 “O que você acha do novo programa de pontos?”
Com frequência acabamos tão imersos no projeto que estamos trabalhando que perdemos de vista algumas coisas. Nesse caso, o respondente pode nunca ter ouvido falar do tal programa de pontos. Como resultado, além de não captarmos o que a pessoa acha, já que ela nem conhece o programa, voltamos com o aprendizado de que ele sequer é conhecido pelas pessoas, o que também não ajuda a melhorar o produto ou serviço.
Em vez disso, pergunte…
✅ “Você conhece o novo programa de pontos?” + “Quais as vantagens e desvantagens do novo programa de pontos para você?”
Assim, segmentamos os respondentes entre os que conhecem o programa e os que não, como um filtro, e aí podemos explorar as respostas dos que conhecem, entendendo o que está funcionando bem ou mal.
4. Perguntas sobre comportamentos futuros
🚫 “Você usaria / compraria / pagaria por esse produto?”
Pergunta clássica quando áreas de negócios precisam saber se o público tem ou não interesse em algo. Embora sejam comuns, o primeiro problema desse formato é que ele resulta em uma resposta de “sim” ou “não”, o que não ajuda a entender por quê. Além disso, perguntas sobre ações futuras não funcionam porque pessoas são ruins em prever seus comportamentos. No geral, imaginamos que nossos eus do futuro serão pessoas melhores, mais saudáveis, mais estudiosas, mais dedicadas. Na realidade, o que acontece nem sempre segue essa lógica, pois o que falamos — ou seja, nossa atitude, que está mais relacionada à opinião e visão que temos de nós mesmos — tende a ser diferente do nosso comportamento real. Por esse motivo, usuários podem responder o que pretendem fazer, mas isso não necessariamente vai se concretizar, tornando essa resposta pouco confiável ou útil.
Em vez disso, pergunte…
✅ “Com que frequência você paga por produtos X?” / “Descreva como você faz tal coisa”
A melhor forma de prever o futuro é entender o presente. Focar em entender o comportamento atual ou de um passado bem recente pode ajudar a projetar como seria o comportamento futuro. Essa abordagem tende a ser mais efetiva e confiável, pois ela parte de uma realidade concreta, já existente, na qual o time pode se basear. Em pesquisas quantitativas, vale a pena explorar as hipóteses já conhecidas listando-as como alternativas de resposta, buscando entender quantitativamente determinado comportamento ou uso do produto. Já nas qualitativas, essa exploração pode se dar de modo mais abrangente, como no segundo exemplo, deixando que o participante descreva seu caso de uso conforme seu contexto.
5. Perguntas vagas e abrangentes demais
🚫 “Como você decide o que vai comprar no supermercado?”
Ao mapear jornadas, por exemplo, um objetivo possível seria entender quais fatores influenciam na decisão de compra de um produto ou serviço. Em uma pesquisa qualitativa, pode parecer uma boa ideia perguntar algo muito amplo, deixando o participante livre para responder. O problema nesse caso é que, por ser uma pergunta muito abrangente, o usuário tende a dar uma resposta que sirva à média das suas experiências. A última decisão de compra pode ter sido influenciada por uma necessidade pontual, enquanto as demais podem ter sido planejadas, ou vice-versa. As chances da resposta obtida serem confusas, vagas ou genéricas são grandes. Em pesquisas quantitativas, essa pergunta pode ser usada se o time tiver hipóteses para listá-las como alternativas. Do contrário, melhor pensar em métodos mais exploratórios.
Em vez disso, pergunte…
✅ “O que você considerou ao decidir o que comprar na sua última ida ao supermercado?”
Dessa forma, a questão foca na última vez que o usuário executou aquela ação e traz informações específicas sobre aquela ocasião. Somando as respostas de vários participantes, temos uma ideia geral de quais são as necessidades e problemas daquele público. Em pesquisas quantitativas, um caminho possível é pensar nas hipóteses já existentes e conhecidas pelo time e usá-las como alternativas de respostas, incluindo uma opção aberta para que o respondente possa incluir algo que não esteja listado.
Para um mapeamento mais consistente e amplo, focado em entender comportamento e modelo mental, essa pergunta pode ser feita de maneira contínua, a fim de entender as mudanças e variações ao longo do tempo, com um diário de uso ou sampling.
6. Perguntas que culpabilizam o usuário
🚫 “Você teve dificuldade para encontrar o que buscava?”
Nessa pergunta, é bem provável que o usuário responda que não, mesmo que tenha sido super difícil, simplesmente por não querer parecer pouco inteligente. Essa abordagem pode fazer com que ele se sinta culpado por ter tido dificuldade, achando que o problema é ele, não a interface ou o produto, o que certamente vai comprometer o quão sincero ele será daí em diante por não se sentir à vontade. Ninguém gosta de se sentir vulnerável ou menos inteligente, por isso, o pesquisador sempre deve ter em mente que sua relação com o usuário precisa transmitir confiança e segurança.
Em vez disso, pergunte…
✅ “Ao buscar o que você queria, o que foi fácil e o que foi difícil?”
Assim o usuário pode te contar os problemas que encontrou com mais sinceridade e com a confiança de saber que não é ele ou sua capacidade que estão sendo avaliados. Dessa forma, você terá ainda a oportunidade de captar algum insight a partir da resposta dele a respeito da estrutura mental que ele usa ao buscar algo, por exemplo. Em pesquisas quantitativas, um caminho possível é pensar nas hipóteses já existentes e conhecidas pelo time e usá-las como alternativas de respostas, incluindo uma opção aberta para que o respondente possa incluir algo que não esteja listado.
7. Perguntas sobre expectativas de interface
🚫 “Você sente falta de algo nessa tela?” / “O que você espera que aconteça quando clicar aqui?”
Em testes de usabilidade, às vezes queremos validar se os elementos presentes na interface são o suficiente em termos de informação ou se há algo destoando do que o público está acostumado a ver. Em geral, usuários mais familiarizados com tecnologia têm experiências de uso acumuladas que geram expectativas sobre como um site ou app deve funcionar. No entanto, se questionados antecipadamente sobre essas expectativas, dificilmente eles saberão descrevê-las, afinal, eles não são profissionais de UI, com ideias e definições prontas sobre o que deveria estar ali ou não. Ou seja, para o usuário médio, essa expectativa se baseia em um conhecimento tácito, implícito, que ele nem sempre sabe que tem. Boas interfaces geram experiências sem atrito, de modo que só percebemos que há algo de errado ou “faltando” quando nos deparamos com o problema em si.
Por isso, como alternativa, deixe que o usuário explore o protótipo e observe esse processo. Caso alguma dificuldade tenha surgido, ao final do teste, pergunte…
✅ “Quando você estava navegando na área X, alguma coisa te surpreendeu ou não foi como você esperava?”
Assim o usuário tem a oportunidade de relatar o que encontrou e aí sim podemos explorar e entender melhor qual era a expectativa dele sobre como deveria ter sido. Nesse outro formato, a pergunta nos ajuda a entender o modelo mental desse usuário a partir do seu próprio repertório. Em testes não-moderados, um caminho possível é incluir perguntas abertas ao final, dando espaço para que o usuário descreva qualquer empecilho que tenha encontrado. Para esse tipo de investigação específica, muito mais subjetiva, não recomendamos o uso de métodos quantitativos. No entanto, é possível pensar nas hipóteses já existentes e conhecidas pelo time e usá-las como alternativas de respostas, incluindo uma opção aberta para que o respondente possa incluir algo que não esteja listado.
É isso! Obrigada por ler até aqui. ❤
Pesquisar sobre pessoas e comportamentos não é trivial, pois exige que a gente saia do nosso modus operandi e tente pensar pelo ponto de vista do outro. Por isso, na dúvida sobre como formular suas perguntas sem enviesamentos, faça pré-testes. Peça a outros colegas que respondam, preferencialmente aqueles de fora do contexto do produto. Assim, você avalia o entendimento de cada questão e pode fazer melhorias antes de seguir.
E aí, faz sentido pra você? Para quem quiser continuar a discussão, comenta aqui embaixo ou vem de Linkedin pra gente trocar ideias!
Referências:
Avoid Leading Questions to Get Better Insights from Participants. Nielsen Norman Group. https://www.nngroup.com/articles/leading-questions
Validating Product Ideas: Lean User Research. Tomer Sharon. https://medium.com/mytake/validating-product-ideas-lean-user-research-by-tomer-sharon-e3c805601035
