Como tabular e analisar os resultados de um teste de usabilidade

Uma pergunta bem recorrente quando dou workshops é: depois dos testes, como organizar os resultados? O que anotar e o que fazer com as descobertas?

Teste de usabilidade em geral é uma técnica focada mais no lado qualitativo — queremos levantar o maior número possível de problemas e entender como e porquê as pessoas têm dificuldade em usar um site, por exemplo. Mas nem por isso não podemos usar métricas quantitativas. Algumas das métricas mais usadas:

  • Taxa de sucesso: do total de participantes, quantos tiveram sucesso na tarefa?
  • Tempo de execução da tarefa
  • Uso de funcionalidades específicas: do total de participantes, quantos utilizaram os filtros para encontrar um produto de seu interesse?
  • Expectativa x realidade: antes de começar, pergunte à pessoa o quão fácil ou difícil ela espera que seja essa tarefa. Depois da tarefa realizada, refaça a pergunta.
  • System Usability Scale: ao final do teste, você aplica um questionário com 10 perguntas e gera uma métrica quantitativa que pode ser comparada com outros sites.

Qual métrica eu devo usar? O que fizer sentido para você! Mas recomendamos que você olhe pelo menos a taxa de sucesso por tarefa e, para cada problema observado, anote o número de participantes afetados por aquele problema.

Faça uma tabela avaliando o desempenho de cada participante em cada tarefa

Para cada tarefa de um roteiro de teste de usabilidade, há uma expectativa de sucesso. Se é uma simulação de compra, pode ser algo como “Encontrar um produto de interesse e chegar à página de confirmação de compra, sem demonstrar dificuldade durante o processo”.

Mas a gente sabe que entre a busca e o fim da compra existem vários passos, certo? Se você está avaliando o fluxo de compra de um site, provavelmente ele pode ser quebrado em micro-tarefas, como:

  1. Encontrar o produto
  2. Página do produto
  3. Carrinho
  4. Cadastro / login
  5. Pagamento
  6. Confirmação da compra

A partir desta quebra, você pode definir o sucesso ou fracasso dos participantes em cada etapa. E montar uma tabela mais ou menos assim:

Tabela mostrando sucesso e fracasso em cada uma das subetapas de uma tarefa.
Exemplo fictício de tabela de resultados para um e-commerce de roupas. Acesse um modelo completo de tabulação de teste de usabilidade

Dica: usando cores para indicar a taxa de sucesso você já consegue, só de bater o olho na tabela, entender onde está a maior concentração de problemas. Tanto no Google Sheets quando no Excel você pode criar fórmulas de formatação para colocar as cores automaticamente. ;)

Faça uma tabela com os problemas observados

Ao fim de cada teste, se reúna com a sua equipe e comece a anotar os pontos observados. Cada ponto pode ser um problema de usabilidade (o que algumas vezes chamamos de “ocorrência”) ou uma observação (algo que não é um problema, mas vale comentar). E alguns pontos são mais graves que outros. Por isso, é muito legal se você puder organizá-los por severidade ou urgência. Alguns critérios propostos por Jakob Nielsen:

  • O quanto o problema impediu os participantes de completar a tarefa? É um problema do tipo barreira (que impede a pessoa de prosseguir), obstáculo (que atrapalha o caminho) ou estético (que apenas incomoda um pouco)?
  • Do total de participantes, quantos passaram por esse problema? Apenas 2 de 10 ou quase todos?
  • Persistência: este é um problema que afeta a pessoa apenas uma vez? Ela aprende e depois consegue se virar ou é algo que vai atrapalhar sempre?
  • Qual a relevância da tarefa / área do site afetada para o produto ou negócio? Estamos falando da página de pagamento ou de uma aba de perguntas frequentes?

Com isso você começa a gerar uma tabela mais ou menos assim:

Tabela mostrando problemas organizados por severidade
Exemplo de problemas observados em um e-commerce fictício (mas questões inspiradas em problemas reais!). Acesse um modelo completo de tabulação de teste de usabilidade

Ainda sobre o critério de importância para o negócio: com as informações certas você pode ir além e vincular o problema de usabilidade a uma métrica. Se um problema foi observado no fluxo de compra, provavelmente ele afeta a conversão — e ao resolvê-lo, você pode melhorar a conversão do produto. Comparando as taxas de antes e depois da reformulação, dá até para demonstrar o ROI (retorno de investimento) do teste de usabilidade e do trabalho de redesign.

Por fim, pode ser muito interessante considerar também o custo de desenvolvimento para ter uma ideia do custo x benefício. Se um problema de média severidade leva uma hora para resolver e um problema de alta severidade leva dez horas, melhor começar pelo primeiro.

Mais sobre severidade de problemas — artigo do Jeff Sauro

E o que fazer com os números?

Criando tabelas e contando o sucesso e fracasso dos participantes, você vai obter algumas métricas como “2 de 10 conseguiram completar a tarefa 1” ou “6 de 15 tiveram dificuldade com os filtros do site”. E como interpretar isso? Uma dica muito simples: pense em termos de “maioria” ou “minoria”.

Os números são uma referência, uma ordem de grandeza para avaliar qual a criticidade de um determinado problema de usabilidade. Mas evite levá-los a sério demais. Se 2 de 10 pessoas tiveram um problema, não quer dizer necessariamente que isso vá afetar 20% do universo de usuários do seu produto. A não ser que você tenha montado uma amostra com validade estatística (geralmente não é o caso da maior parte dos testes de usabilidade que fazemos no dia-a-dia).

Se 8 de 10 participantes passaram por determinado problema é bem provável que muita gente passe por isso também.

Se interessou pelo lado quantitativo? Veja este artigo do Jeff Sauro (em inglês)

Esse é o único jeito de organizar os resultados de um teste de usabilidade?

Claro que não! É apenas uma forma que eu já testei bastante e utilizei em vários projetos. E é a tabela que recomendamos para nossos clientes do TESTR. Mas você também pode montar um quadro com post-its — ou jogar tudo no Trello, por exemplo. Podemos dar outras sugestões em posts futuros. ;)

Acesse um modelo de tabulação de resultados de teste de usabilidade

Montamos no Google Sheets um modelinho de tabulação para você preencher e organizar as descobertas de seu próximo teste de usabilidade. Você pode copiar e adaptar como quiser.

QUERO VER O MODELO DE TABULAÇÃO DE TESTES

E você? Como organiza os resultados dos seus testes? Tem algum modelo diferente? Comente aqui. :)


Originally published at TESTR Blog.