Medindo a usabilidade do seu produto com System Usability Scale (SUS)
Uma premissa de todo produto é atender as necessidades do usuário. No entanto, sempre nos perguntamos se isso está, de fato, acontecendo.
Tentando responder essas perguntas, executamos algumas abordagens, como por exemplo, entrevistas com usuários, testes de usabilidade, levantamento e análise de dados quantitativos, dentre outros.
Esses métodos conseguem indicar rapidamente as tarefas que as pessoas têm mais dificuldade em executar no nosso produto. Mas, ainda assim, não conseguem indicar “o quão grande” um problema de usabilidade por ser, ou traduzir a usabilidade em algo tangível. É aí que entram as escalas numéricas de usabilidade.
Existem inúmeras escalas. Mas hoje vamos focar na Scale Usability Score (SUS), algo como Pontuação de Usabilidade em Escala, na tradução literal para o português. E porque escolhemos justamente ela? Vamos compreender melhor como ela funciona e você vai entender…
Um pouco de contexto
A SUS foi criado por John Brooke, em 1986, e permite avaliar uma grande variedade de produtos e de serviços. Por conta disso, a metodologia se tornou uma referência para a indústria, com diversos artigos científicos e profissionais publicados a seu respeito.
A popularidade do método se deve, entre outros motivos, ao fato dele apresentar um balanço interessante entre ser cientificamente apurado e, ao mesmo tempo, não ter uma aplicação extremamente longa nem para o usuário, nem para o pesquisador.
Como funciona o método
Basicamente, o método se divide em três pilares:
Efetividade: Os usuários conseguem completar seus objetivos?
Eficiência: Quanto esforço e recursos são necessários para os usuários completarem seus objetivos?
Satisfação: A experiência dos usuários foi satisfatória?
A SUS tem 10 perguntas, as quais o usuário pode responder utilizando uma escala Likert, que vai de 1 a 5, sendo 1 “Discordo completamente” e 5 “Concordo completamente”. Para a análise dos resultados, é necessário calcular um índice.
Acompanhe o exemplo:
As perguntas base da SUS podem ser modificadas de acordo com o seu contexto. Abaixo estão essas perguntas:
1. Eu acho que gostaria de usar esse sistema com frequência.
2. Eu acho o sistema desnecessariamente complexo.
3. Eu achei o sistema fácil de usar.
4. Eu acho que precisaria de ajuda de uma pessoa com conhecimentos técnicos para usar o sistema.
5. Eu acho que as várias funções do sistema estão muito bem integradas.
6. Eu acho que o sistema apresenta muita inconsistência.
7. Eu imagino que as pessoas aprenderão como usar esse sistema rapidamente.
8. Eu achei o sistema atrapalhado de usar.
9. Eu me senti confiante ao usar o sistema.
10. Eu precisei aprender várias coisas novas antes de conseguir usar o sistema.
Relação com as heurísticas
É possível relacionar cada pergunta às heurísticas de Nielsen, para uma avaliação estruturada. Essa é a recomendação:
• Facilidade de aprendizagem: 3, 4, 7 e 10;
• Eficiência: 5, 6 e 8;
• Facilidade de memorização: 2;
• Minimização dos erros: 6;
• Satisfação: 1, 4, 9;
Calculando o índice
Depois de colher os resultados, você precisa fazer algumas contas para chegar ao resultado final, que vai de 0 a 100. Design também é matemática! :)
Para as respostas ímpares (1, 3, 5, 7, 9), subtraia 1 da pontuação que o usuário atribuiu à resposta.
Para as respostas pares (2, 4, 6, 8 10), diminua a pontuação que o usuário atribuiu de 5(5-x).
Depois, some todos os valores das dez perguntas, e multiplique por 2,5.
Veja o exemplo:
Avaliando a pontuação
Por ser um método maduro, a comunidade de pesquisa conseguiu estabelecer índices de referência. Assim, a média do System Usability Score é 68 pontos.
Para John Brooke, se você fez menos pontos do que isso, você provavelmente está “enfrentando problemas sérios de usabilidade em seu produto.” Abaixo, a escala completa de pontuação:
E como inserir a SUS no meu processo de Design?
1. Monte um questionário baseado na sua realidade usando as 10 perguntas base, e crie a pesquisa na plataforma pela qual você costuma enviar suas pesquisas. É importante deixar claro, já no início, que o questionário é anônimo, pois isso deixa as respostas mais sinceras.
2. Envie o questionário para os clientes após o teste de usabilidade. Aconselho enviar por e-mail, pois parece algo mais formal, e o usuário costuma ficar mais confiante para responder, se isso fizer sentido para seu público-alvo.
3. Crie uma planilha para compilar os dados da pesquisa. Faça o somatório das perguntas e calcule a média de pontos entre os respondentes. É importante ter, no mínimo, 5 respondentes. Mas quanto mais respostas, mais confiável se torna seu score.
4. Monte uma apresentação com o score e os insigths que você teve, com base no relatório gerado com a compilação de dados das respostas. Lembra das heurísticas? Neste momento você pode começar pensar quais são as perguntas que tiverem baixo índice e avaliar o que fazer para melhorar.
5. Apresente os resultados para o seu time, e trace um planejamento com eles. Neste ponto, vocês devem avaliar se precisam melhorar a abordagem do produto ou feature ou não. Porque vocês podem chegar a conclusão de que o índice está bom e pode seguir para uma nova pesquisa.
6. Caso o seu time conclua que precisa evoluir o produto, você poderá rodar uma nova bateria de testes utilizando o método. Com isso, você compara se o índice aumentou ou diminuiu.
7. Você pode utilizar a SUS como KPI (Indicador-chave de desempenho) para metas pessoais ou da equipe, OKRs (objetivos e principais resultados — metodologia de gestão utilizada para definir metas), etc.
Conclusão
A utilização desse método vai te ajudar a ter um respaldo para continuar num determinado caminho com uma feature ou produto ou, se for o caso, para traçar uma nova rota, tirando vieses pessoais do tipo “não gostei dessa tela” ou “acho que o usuário não vai compreender isso”.
O ganho maior é que ela o ajudará a falar com mais propriedade e de uma forma mais prática com o time sobre algo até então intangível: a usabilidade.
