Por que não devemos testar com mais de 5 usuários?

Muitas pessoas pensam que testes de usabilidade são caros e complexos, mas isso não é verdade. Testes elaborados são um desperdício de recursos. Na verdade, os melhores resultados vêm de testes com não mais que 5 usuários e tantos testes pequenos quanto possível.

Quando você testa com um único usuário, já aprende cerca de um terço de tudo o que há para saber sobre a usabilidade do design. Cada usuário adicional adiciona novos insights, mas menos do que o anterior. Depois de testar com o quinto usuário, você está apenas repetindo as mesmas descobertas sem aprender muito.

Iteração (repetir e repetir)

A curva indica que 15 usuários são necessários para descobrir todos os problemas de usabilidade no design. No entanto, é melhor distribuir o orçamento de testes de usuários em muitos testes pequenos em vez de um grande estudo elaborado. Por exemplo, é possível realizar três estudos com cinco usuários cada, o que é mais eficiente para melhorar o design do que documentar seus pontos fracos.

O objetivo é corrigir os problemas encontrados em um redesign e testar novamente para descobrir se as correções funcionaram. Um segundo estudo descobrirá a maioria dos problemas de usabilidade restantes e aprofundará a usabilidade da estrutura fundamental do site. O mesmo se aplica ao redesign, nem todas as correções funcionarão e um terceiro estudo pode ser necessário.

E se eu testar com um só?

Embora possa parecer que realizar 15 estudos com um único usuário seria ainda mais eficaz do que realizar 3 estudos com 5 usuários cada, existem duas razões pelas quais isso não é recomendado.

• Risco de ser enganado por um comportamento ilegítimo de uma única pessoa que pode não ser representativo da maioria dos usuários.
• A análise de custo-benefício mostra que realizar testes com 3 ou 5 usuários é a proporção ideal, uma vez que há um custo fixo associado ao planejamento e execução de cada estudo. Portanto, é melhor amortizar esse custo inicial com base nas descobertas de vários usuários.

Mas em que caso é necessário testar com mais?

Testar usuários adicionais é necessário quando um site/app possui vários grupos de usuários distintos. Para usuários comparáveis que usam o site de maneiras semelhantes, uma fórmula é aplicável. Por exemplo, se o site for usado tanto por crianças quanto por pais, é necessário testar com pessoas de ambos os grupos. No entanto, mesmo quando os grupos de usuários são muito diferentes, ainda existem semelhanças entre as observações.

Testar vários grupos de usuários diferentes requer menos membros de cada grupo em comparação a um único teste de um único grupo de usuários.

Recomenda-se testar de 3 a 4 usuários de cada categoria se estiver testando dois grupos de usuários, e 3 usuários de cada categoria se estiver testando três ou mais grupos de usuários.

Lembre-se: pelo menos 3 usuários são necessários para garantir que a diversidade de comportamento dentro do grupo seja coberta.

Referência

Nielsen, Jakob e Landauer, Thomas K.: “Um modelo matemático da descoberta de problemas de usabilidade,” Proceedings of ACM INTERCHI’93 Conference (Amsterdam, Holanda, 24–29 de abril de 1993), pp. 206–213.