Como tabular e analisar os resultados de um teste de usabilidade
Uma pergunta bem recorrente quando dou workshops é: depois dos testes, como organizar os resultados? O que anotar e o que fazer com as descobertas?
Teste de usabilidade em geral é uma técnica focada mais no lado qualitativo — queremos levantar o maior número possível de problemas e entender como e porquê as pessoas têm dificuldade em usar um site, por exemplo. Mas nem por isso não podemos usar métricas quantitativas. Algumas das métricas mais usadas:
- Taxa de sucesso: do total de participantes, quantos tiveram sucesso na tarefa?
- Tempo de execução da tarefa
- Uso de funcionalidades específicas: do total de participantes, quantos utilizaram os filtros para encontrar um produto de seu interesse?
- Expectativa x realidade: antes de começar, pergunte à pessoa o quão fácil ou difícil ela espera que seja essa tarefa. Depois da tarefa realizada, refaça a pergunta.
- System Usability Scale: ao final do teste, você aplica um questionário com 10 perguntas e gera uma métrica quantitativa que pode ser comparada com outros sites.
Qual métrica eu devo usar? O que fizer sentido para você! Mas recomendamos que você olhe pelo menos a taxa de sucesso por tarefa e, para cada problema observado, anote o número de participantes afetados por aquele problema.
Update: fizemos uma pesquisa sobre métricas em teste de usabilidade.
Faça uma tabela avaliando o desempenho de cada participante em cada tarefa
Para cada tarefa de um roteiro de teste de usabilidade, há uma expectativa de sucesso. Se é uma simulação de compra, pode ser algo como “Encontrar um produto de interesse e chegar à página de confirmação de compra, sem demonstrar dificuldade durante o processo”.
Mas a gente sabe que entre a busca e o fim da compra existem vários passos, certo? Se você está avaliando o fluxo de compra de um site, provavelmente ele pode ser quebrado em micro-tarefas, como:
- Encontrar o produto
- Página do produto
- Carrinho
- Cadastro / login
- Pagamento
- Confirmação da compra
A partir desta quebra, você pode definir o sucesso ou fracasso dos participantes em cada etapa. E montar uma tabela mais ou menos assim:
Dica: usando cores para indicar a taxa de sucesso você já consegue, só de bater o olho na tabela, entender onde está a maior concentração de problemas. Tanto no Google Sheets quando no Excel você pode criar fórmulas de formatação para colocar as cores automaticamente. ;)
Faça uma tabela com os problemas observados
Ao fim de cada teste, se reúna com a sua equipe e comece a anotar os pontos observados. Cada ponto pode ser um problema de usabilidade (o que algumas vezes chamamos de “ocorrência”) ou uma observação (algo que não é um problema, mas vale comentar). E alguns pontos são mais graves que outros. Por isso, é muito legal se você puder organizá-los por severidade ou urgência. Alguns critérios propostos por Jakob Nielsen:
- O quanto o problema impediu os participantes de completar a tarefa? É um problema do tipo barreira (que impede a pessoa de prosseguir), obstáculo (que atrapalha o caminho) ou estético (que apenas incomoda um pouco)?
- Do total de participantes, quantos passaram por esse problema? Apenas 2 de 10 ou quase todos?
- Persistência: este é um problema que afeta a pessoa apenas uma vez? Ela aprende e depois consegue se virar ou é algo que vai atrapalhar sempre?
- Qual a relevância da tarefa / área do site afetada para o produto ou negócio? Estamos falando da página de pagamento ou de uma aba de perguntas frequentes?
Com isso você começa a gerar uma tabela mais ou menos assim:
Ainda sobre o critério de importância para o negócio: com as informações certas você pode ir além e vincular o problema de usabilidade a uma métrica. Se um problema foi observado no fluxo de compra, provavelmente ele afeta a conversão — e ao resolvê-lo, você pode melhorar a conversão do produto. Comparando as taxas de antes e depois da reformulação, dá até para demonstrar o ROI (retorno de investimento) do teste de usabilidade e do trabalho de redesign.
Por fim, pode ser muito interessante considerar também o custo de desenvolvimento para ter uma ideia do custo x benefício. Se um problema de média severidade leva uma hora para resolver e um problema de alta severidade leva dez horas, melhor começar pelo primeiro.
Mais sobre severidade de problemas — artigo do Jeff Sauro
E o que fazer com os números?
Criando tabelas e contando o sucesso e fracasso dos participantes, você vai obter algumas métricas como “2 de 10 conseguiram completar a tarefa 1” ou “6 de 15 tiveram dificuldade com os filtros do site”. E como interpretar isso? Uma dica muito simples: pense em termos de “maioria” ou “minoria”.
Os números são uma referência, uma ordem de grandeza para avaliar qual a criticidade de um determinado problema de usabilidade. Mas evite levá-los a sério demais. Se 2 de 10 pessoas tiveram um problema, não quer dizer necessariamente que isso vá afetar 20% do universo de usuários do seu produto. A não ser que você tenha montado uma amostra com validade estatística (geralmente não é o caso da maior parte dos testes de usabilidade que fazemos no dia-a-dia).
Se 8 de 10 participantes passaram por determinado problema é bem provável que muita gente passe por isso também.
Se interessou pelo lado quantitativo? Veja este artigo do Jeff Sauro (em inglês)
Esse é o único jeito de organizar os resultados de um teste de usabilidade?
Claro que não! É apenas uma forma que eu já testei bastante e utilizei em vários projetos. E é a tabela que recomendamos para nossos clientes do TESTR. Mas você também pode montar um quadro com post-its — ou jogar tudo no Trello, por exemplo. Podemos dar outras sugestões em posts futuros. ;)
—
Acesse um modelo de tabulação de resultados de teste de usabilidade
Montamos no Google Sheets um modelinho de tabulação para você preencher e organizar as descobertas de seu próximo teste de usabilidade. Você pode copiar e adaptar como quiser.
QUERO VER O MODELO DE TABULAÇÃO DE TESTES
E você? Como organiza os resultados dos seus testes? Tem algum modelo diferente? Comente aqui. :)
Originally published at TESTR Blog.
