Como fazer um teste de usabilidade comparativo

Uma das perguntas que ouvimos de clientes do TESTR é se é possível fazer um teste de usabilidade comparativo. E a resposta é: sim, mas com cuidados especiais. E não é a mesma coisa que um teste A/B.

Em um teste de usabilidade comparativo você pode comparar o seu site com sites de competidores ou comparar duas versões do mesmo design e decidir qual delas funciona melhor. Para a comparação, pode usar métricas quantitativas como tempo para completar a tarefa (“em qual dos sites ou versões as pessoas acham mais rápido o botão?”) ou, de forma mais qualitativa, pedir aos participantes para mostrar os prós e contras de cada uma.

Já o teste A/B é uma técnica quantitativa utilizada para comparar duas (ou mais) versões de um mesmo design para ver qual funciona melhor, com métricas. Por exemplo: você pode querer testar o posicionamento do botão comprar — será que as pessoas clicam mais com o botão à esquerda ou à direita? Para isso, você divide a audiência do seu site entre as duas versões e verifica qual delas converte melhor. Se você quer fazer uma mudança bem pontual e descobrir qual vai performar melhor e já tem um produto / site com muitos acessos, um teste A/B pode ser muito útil.

Em um teste de usabilidade comparativo você pode avaliar qual das versões as pessoas entendem melhor, como utilizam cada uma e qual delas traz menos ou mais problemas. E de quebra pode pedir para os participantes compararem as duas. É ótimo para testar dois protótipos diferentes ou duas versões do site da sua startup que ainda não foi lançada.

Há mais de um jeito de fazer um teste de usabilidade comparativo: você pode fazer a comparação dentro da sessão de teste (cada participante compara) ou fora do teste (cada pessoa testa uma opção e quem compara é você). E isso vale tanto para teste de usabilidade remoto não moderado (como no TESTR) como para teste presencial e moderado. Mas em geral funciona melhor em um estudo mais estruturado — fica meio difícil fazer uma comparação em um teste de guerrilha. Já escrevemos um outro post explicando os diversos tipos de teste de usabilidade e quando usar cada um.

Opção 1: comparação dentro da sessão de teste

Neste caso, os participantes repetem a mesma tarefa em todos os sites comparados e depois você pode pedir para que comparem os resultados e comentem sobre as diferenças.

Vantagem:

• O próprio participante já faz a comparação e te ajuda a tirar as conclusões. Quando as pessoas podem comparar duas opções (de um mesmo design, por exemplo), fica mais fácil dar um feedback útil — desde que as versões sejam realmente diferentes.

Desvantagens:

• Curva de aprendizado: a ordem das tarefas pode alterar o resultado. A pessoa “aprende” a fazer a tarefa no primeiro site e isso pode influenciar as tarefas nos sites seguintes. Para evitar isso, é importante dividir os participantes em grupos e alternar a ordem: em cada grupos os participantes começam por uma das versões.
• Não dá para levar ao pé da letra a opinião dos participantes. Nem sempre eles vão comparar as opções com critérios objetivos, como a facilidade de uso. E você não quer que a sua decisão de design seja baseada em gostos pessoais, como “Ah, eu prefiro essa aqui porque eu gosto de roxo”.
• Limita a quantidade de tarefas que cada participante pode fazer durante o teste (você não quer um teste longo e cansativo demais).

Opção 2: comparação entre grupos de participantes

Desta forma, você separa os participantes em grupos e cada grupo faz as tarefas em apenas uma das versões / sites.

Vantagens:

• Mais focado, cada participante usa uma opção só, permite mais tarefas diferentes. Menos potencial de confusão (e cansaço).
• Foco no comportamento, não na opinião dos participantes.
• Bastante adequado para testar entre sites de competidores, quando a intenção é comparar métricas quantitativas (tempo de tarefas, sucesso e fracasso).

Desvantagens:

• Fica mais difícil de comparar — é importante ter o cuidado de ter grupos bem parecidos.

Opção 3: um misto das duas coisas!

Fizemos um teste comparativo aqui no TESTR para exemplificar. Neste caso, foi um teste comparando sites diferentes. Escolhemos 3 dos maiores sites e-commerces de moda do país: Dafiti, Renner e Zattini. Neste teste fictício, procuramos descobrir as diferenças na busca de produto por características específicas. A principal tarefa era a seguinte:

Responda em voz alta: você já acessou o site da ZATTINI? No site da Zattini, encontre uma blusa de frio vermelha e veja se tem do seu tamanho. Faça como se fosse uma situação de verdade, olhando as informações que são importantes para você escolher uma blusa. Pode parar na página da blusa — não precisa comprar de verdade.

Neste estudo fizemos um misto das duas abordagens. Os participantes repetiam a tarefa acima nos 3 sites e depois se aprofundavam em um deles, fazendo outras tarefas. E alternamos a ordem dos sites para evitar a curva de aprendizado. Da amostra total de 15 participantes, cada grupo de 5 pessoas começou por um dos sites. Para o grupo que começou por Dafiti o roteiro ficou assim:

1. Dafiti: encontrar blusa vermelha
2. Zattini: encontrar blusa vermelha
3. Renner: encontrar blusa vermelha na Renner
4. Renner: tirar dúvida sobre tamanho
5. Renner: salvar para mais tarde

Assim conseguimos um pouco dos dois cenários. E no questionário final, pedimos para as pessoas compararem as 3 primeiras tarefas.

Detalhe do relatório do TESTR: resultado de cada uma das tarefas.

Ah, um truque para deixar os resultados mais confiáveis: fizemos um pré-questionário de recrutamento para direcionar as pessoas para um roteiro ou outro de acordo com o perfil. Quem nunca havia acessado o site da Dafiti (ou pelo menos não havia acessado nos últimos meses), começou por Dafiti. Assim conseguimos controlar um pouco melhor a influência da experiência prévia com o site / assunto pesquisado. Se você for testar duas versões diferentes do seu design, vale também saber se a pessoa é cliente ou não cliente do seu produto. Leia mais sobre amostra de testes em outro post.

Conclusão

É possível fazer testes comparativos, só dá mais trabalho — e de um jeito ou de outro, você vai precisar de uma amostra maior para conseguir tomar decisões. No nosso exemplo de teste, fizemos com 15 pessoas — 5 em cada grupo. Para finalizar, algumas dicas importantes:

1. Participantes de teste de usabilidade não são designers. E você não pode esperar que eles percebam uma diferença sutil entre um menu e outro e tomem uma decisão por você. Nos testes que fazemos por aqui, algumas vezes as pessoas nem percebem a diferença entre duas versões do mesmo site — então é bem importante que as duas opções sejam bem diferentes entre si.
2. Evite testar muitas versões diferentes. Teste duas ou, no máximo, três. Mais do que isso o teste fica complicado para você e para os participantes.
3. Mais importante do que a opinião das pessoas é perceber qual das versões é mais usável e gera menos problemas / atrito. É muito legal ter a opinião das pessoas e dos clientes em potencial, mas muitas vezes elas são baseadas em questões só subjetivas, de gosto mesmo — e não são a melhor coisa pra informar uma decisão de design.

—

Este foi um teste fictício, que criamos para exercitar a possibilidade de um teste comparativo e experimentar algumas coisas com a nossa base de participantes. Nenhum dos sites, no momento da redação deste post, é cliente do TESTR. Mas se você trabalha em algum deles e quer ver os resultados, é só entrar em contato com a gente. ;)

—

Para saber mais:

Conducting qualitativa comparative usability testing — UX Matters
Redesigning Your Website? Don’t Ditch Your Old Design So Soon — Nielsen Norman Group

Originally published at TESTR Blog.