10 coisas que fazem sua pesquisa se tornar um fracasso

Vieses de entrevista dificultam a geração de bons dados. Siga essas dicas para neutralizar 10 deles na sua pesquisa e parar de perder tempo.

Pesquisas são amplamente utilizadas pelos profissionais de UX, mas criar uma realmente eficaz é mais difícil do que parece. O mais comum é escrever uma pesquisa ruim, que resulta em dados falhos.

Parte 1: Limitações

Dificuldade em filtrar respostas dos participantes

Os métodos observacionais mostram comportamentos em tempo real, mas nas pesquisas autorrelatadas (em que o entrevistado fornece os dados), se pode escolher o que compartilhar, o que limita as informações coletadas. Queremos conhece-los como eles realmente são, sem qualquer censura de informações.

Não poder sondar para compreender melhor respostas em questionários

Os participantes geralmente completam a pesquisa sozinhos, o que pode levar a respostas superficiais. As respostas geralmente são classificações em escalas simples ou seleções de múltipla escolha, o que dificulta a compreensão das razões por trás das respostas.

Usar formulários quantitativos, apenas

Coletar dados de atitude, de como usuários pensam e sentem, mas não como eles se comportam: as pesquisas exigem que os entrevistados reflitam sobre suas experiências, enquanto as perguntas sobre comportamentos não capturam com precisão como as pessoas realmente os realizam, para isso, são necessários métodos observacionais, como testes de usuários, juntamente com os dados de pesquisa.

Por si só, essas pesquisas são o método errado para estudar a usabilidade. Mesmo que o objetivo desta pesquisa seja capturar impressões gerais, as respostas que indicam concordância ou discordância com tais afirmações são praticamente inúteis para melhorar a usabilidade do sistema sem métricas adicionais baseadas em desempenho.

Parte 2: Viéses

Abaixo estão 10 maneiras comuns pelas quais os participantes da pesquisa podem distorcer suas respostas, mesmo que sem intenção. Embora seja impossível eliminá-las completamente, há medidas que podem ser tomadas para minimizar sua influência.

1. Viés de memória

As pessoas acreditam que se lembram precisamente de eventos passados, mas a verdade é que elas esquecem muitos detalhes e seus sentimentos mudam sem perceber. Isso dificulta pesquisas que focam em eventos passados, mas métodos de observação que capturam percepções em tempo real são menos suscetíveis a viés de memória. As pessoas se lembram melhor de coisas recentes, frequentemente pensadas e associadas a emoções fortes.

Dicas preventivas:

• Uma dica importante para diminuir o viés de memória em pesquisas, é distribuí-las aos participantes o mais rápido possível após o evento em questão. Por exemplo, se sua pesquisa tem como objetivo entender por que um usuário se inscreveu em um determinado serviço, faça com que a assinatura funcione como um gatilho para a pesquisa, de forma que a justificativa para a assinatura seja o mais recente possível, ainda que não exista garantia de que os participantes responderão à pesquisa imediatamente.

2. Viés de recência

As pessoas tendem a dar mais importância aos eventos recentes do que aos antigos, o que pode afetar suas respostas em pesquisas que visam compreender experiências ou opiniões em geral. Em vez de fazer uma média precisa de seus sentimentos ao longo do tempo, é provável que respondam com base em seus sentimentos recentes.

Dicas preventivas:

• Pergunte sobre experiências tanto recentes quanto anteriores. Se a pesquisa investiga opiniões e atitudes ao longo do tempo, é importante capturar intencionalmente os sentimentos mais recentes primeiro e depois pedir para que os participantes considerem como seus sentimentos mudaram com o tempo.
• Utilize um método longitudinal, como um estudo diário, para investigar atitudes e sentimentos em vários momentos ao longo do tempo, em vez de depender de uma pesquisa única no final que pode estar distorcida pelos eventos mais recentes.

3. Viés de Desejabilidade Social

As pessoas tendem a se conformar às normas sociais e apresentar comportamentos socialmente desejáveis, mesmo que inconscientemente. Essa tendência pode levar os participantes a distorcer suas respostas para se aproximarem do que consideram aceitável pela sociedade. Por exemplo, eles podem exagerar a importância da sustentabilidade ambiental em suas vidas ou minimizar o quanto gostam de algo que é malvisto pela sociedade.

Dicas preventivas:

• Garanta a confidencialidade ou o anonimato das respostas. Tranquilizar os participantes de que suas respostas não estarão conectadas à sua identidade os ajuda a se sentirem à vontade para serem sinceros e verdadeiros.
• Use perguntas indiretas. Essa abordagem pode permitir que os respondentes sejam mais honestos sem sentir a pressão de se conformar às normas sociais. Por exemplo, uma pesquisa que investiga a opinião sobre um candidato político pode perguntar sobre candidatos com visões políticas semelhantes. Os entrevistados também podem ser solicitados a descrever como seus amigos próximos ou colegas se sentem sobre um problema. Respostas abertas são muitas vezes necessárias para capturar dados relevantes nesses casos, mas correm o risco de não responder totalmente à questão da pesquisa.

4. Viés de Prestígio

A preocupação em ser retratado negativamente pode levar os entrevistados a distorcer suas respostas para parecerem mais impressionantes, inteligentes ou bem-sucedidos. Isso pode incluir a tendência de aumentar a renda ou minimizar (ou negar totalmente) ações negativas, como violência ou abuso. Como as pesquisas são baseadas em autorrelato, as respostas nem sempre representam com precisão as verdadeiras opiniões e ações dos entrevistados.

Dicas preventivas:

• Para contornar essa tendência, é recomendado que se forneça intervalos nas opções de resposta, quando números exatos não forem essenciais. Dessa forma, os entrevistados podem selecionar um intervalo que inclua sua resposta verdadeira, aumentando as chances de que a resposta seja precisa.
• Além disso, outras fontes de dados devem ser consideradas para dados confidenciais que são essenciais para a pesquisa. Se disponíveis, esses dados devem ser coletados de outras fontes para garantir a precisão.

5. Viés de Aquiescência (tendência a concordar)

Pessoas geralmente concordam mais do que discordam com declarações apresentadas a elas. Por exemplo, ao perguntar se concordam ou discordam da afirmação “[Nossa empresa] fornece produtos de alta qualidade”, é mais provável que uma proporção maior de entrevistados selecione “concordo” do que “discordo”, independentemente da empresa em questão. Esse viés de aquiescência muitas vezes é causado pelo desejo natural de ser gentil com os outros ou como um atalho para economizar energia mental. Também pode acontecer que um respondente não tenha motivos fortes para discordar e dê o benefício da dúvida, o que geralmente resultará em concordância. Esse viés pode levar a conclusões falsamente positivas por parte dos pesquisadores.

Dicas preventivas:

• É recomendado fazer perguntas diretas e abertas, em vez de pedir respostas de acordo ou desacordo a uma afirmação. Além disso, é aconselhável usar uma escala de diferencial semântico, que fornece um continuum de opções de resposta específicas para a natureza da questão, em vez de uma escala de Likert.
• É importante incluir itens com chave reversa para alternar o foco das declarações ou perguntas apresentadas aos participantes, de modo que eles não selecionem rapidamente respostas positivas para todas as perguntas. No entanto, os itens com chave reversa devem ser usados com moderação, pois aumentam a carga cognitiva geral necessária para responder e a probabilidade de erro ao responder ou codificar as respostas.

6. Pedido de Efeito

A forma como as opções de resposta são apresentadas em perguntas de pesquisa fechadas, como múltipla escolha ou seleção múltipla, pode afetar as respostas dos participantes. As opções próximas ao início e ao fim da lista têm maior probabilidade de serem escolhidas devido aos efeitos de primazia e recência, que descrevem como as primeiras e últimas opções em uma lista são mais facilmente acessíveis na mente dos respondentes. Da mesma forma, a ordem das perguntas também pode influenciar as respostas, revelando o objetivo da pesquisa, criando pressão para consistência ou levando à fadiga dos respondentes.

Dicas preventivas:

• Para evitar esses efeitos, é importante organizar as opções de resposta de forma significativa quando possível, para que os respondentes possam identificar rapidamente as opções relevantes. Quando não há uma ordem significativa óbvia, as opções devem ser randomizadas para dar a cada uma uma chance igual de serem escolhidas.
• Da mesma forma, randomizar a ordem das perguntas para diferentes participantes pode ajudar a evitar o efeito da ordem das perguntas na consistência das respostas.

Em resumo, uma apresentação cuidadosa de perguntas e opções de resposta pode garantir resultados mais precisos em pesquisas.

7. Viés do humor atual ou do estado emocional

O estado emocional do entrevistado pode afetar a forma como eles respondem a uma pesquisa, e pode até impedir que eles comecem ou forneçam respostas significativas.

É importante maximizar a taxa de resposta, distribuindo a pesquisa em momentos em que os entrevistados provavelmente estarão disponíveis e capazes de concentrar-se. Além disso, os entrevistados fornecerão respostas com base em seu humor atual, o que pode ser influenciado pelo conteúdo da pesquisa.

Porém, as pesquisas não podem capturar o humor do entrevistado, o que pode afetar a análise e as conclusões dos dados. A realização de testes de reflexão pode ajudar a entender como a pesquisa faz com que os entrevistados se sintam, enquanto incentivar os participantes a responder em um determinado estado de espírito pode ser útil para pesquisas mais longas e significativas.

Dicas preventivas:

• O uso de mapas de jornada do cliente pode ajudar a identificar oportunidades de distribuição de pesquisas. No entanto, é importante lembrar que não é possível prever as circunstâncias pessoais de cada participante.

8. Viés de Tendência Central

É comum que as pessoas hesitem em escolher respostas extremas em escalas de classificação. Independentemente do número de pontos na escala, os entrevistados geralmente se inclinam para o meio ao escolherem uma resposta. Isso pode levar a dados distribuídos de maneira normal e muitas respostas neutras, mesmo que as circunstâncias dos entrevistados mereçam respostas mais extremas.

Dicas preventivas:

• Para evitar isso, é recomendado usar um número par de opções de resposta e um mínimo de pontos na escala de resposta que sejam significativos. Ao usar uma escala de 4 ou 6 pontos, é mais fácil para os entrevistados responderem de maneira honesta e para os pesquisadores analisarem os dados com mais eficácia, capturando as diferenças mais significativas nas respostas.
• A opção neutra pode ser usada durante a análise, mas combinando os dois pontos médios para evitar muitas respostas neutras.

9. Ciência do Objetivo

Quando os participantes de um estudo de pesquisa entendem as metas e objetivos do pesquisador, é comum que mudem seu comportamento ou respostas para influenciar os resultados do estudo. Isso é especialmente verdadeiro quando responder de certas maneiras pode ser pessoalmente benéfico. Por exemplo, participantes profissionais podem tentar responder a pesquisas de recrutamento de forma a aumentar suas chances de serem selecionados para o estudo, independentemente de serem ou não adequados para a pesquisa.

Alguns participantes podem fornecer respostas extremas ou falsas intencionalmente se estiverem frustrados com a organização responsável pela pesquisa ou com os objetivos do estudo.

Por outro lado, outros participantes (especialmente aqueles que têm uma forte lealdade à marca ou sentimentos positivos em relação à organização responsável pela pesquisa) podem tentar fornecer as respostas que acham que os pesquisadores estão procurando, sendo “úteis”. Isso é especialmente verdadeiro quando os entrevistados têm um vínculo pessoal com o pesquisador, o que torna importante recrutar usuários reais em vez de colegas ou amigos para a pesquisa.

Dicas preventivas:

• Para evitar esses problemas, é aconselhável ocultar o verdadeiro propósito da pesquisa e evitar fornecer muitos detalhes sobre o objetivo da pesquisa em materiais introdutórios, como e-mails, notificações, títulos e descrições da pesquisa.
• Misturar perguntas críticas para o propósito da pesquisa com outras perguntas plausíveis, mas menos críticas.
• Distribuir a pesquisa para diferentes tipos de usuários, incluindo aqueles com experiências positivas e negativas com a marca, também pode ajudar a compensar as tendências descritas acima.

10. Viés de Resposta Aleatória

Quando os entrevistados de uma pesquisa não têm conhecimento da resposta para uma pergunta, é comum que eles apenas adivinhem. No entanto, isso pode gerar respostas imprecisas e não confiáveis. Por exemplo, se uma pesquisa perguntar quanto tempo foi gasto pesquisando um produto antes de comprá-lo, é provável que os entrevistados apenas adivinhem, pois é difícil saber com precisão. Além disso, os entrevistados podem responder aleatoriamente ou escolher opções arbitrárias quando estão cansados ou querem terminar a pesquisa rapidamente.

Dicas preventivas:

• Para evitar esses problemas, é importante fornecer alternativas para aqueles que não sabem a resposta, como opções como “nenhum”, “outro” ou “não aplicável”. É também recomendável incluir itens de chave reversa para identificar quando um participante está respondendo rapidamente ou aleatoriamente. E, acima de tudo, é importante manter as pesquisas curtas para evitar o tédio e o cansaço dos respondentes.

Enfim…

Uma pesquisa cuidadosamente planejada pode coletar insights valiosos de forma rápida e econômica, mas mesmo as melhores pesquisas podem estar sujeitas a vieses de resposta. Embora grande parte do nosso conhecimento sobre grupos de pessoas tenha sido obtido por meio de pesquisas, nem sempre elas são a melhor maneira de obter insights valiosos de UX e melhorar os designs digitais. É essencial analisar todos os dados da pesquisa criticamente e não aceitá-los como verdade sem questionamento.