UX tool : Vous avez-dit SUS ?

Développé dans les années 80 par John Brooke, le SUS est devenu en 30 ans le questionnaire le plus utilisé pour mesurer l’utilisabilité.
Conçu à l’origine pour évaluer un système bureautique électronique de façon plus rapide, le System Usability Scale est aujourd’hui utilisé pour mesurer tout type de système. Qualifiée de méthode “Quick & Dirty”, rapide à remplir et facile à comprendre, cette échelle de mesure a fait l’objet d’études mettant à l’épreuve sa fiabilité, sans cesse démontrée. Pourtant différents éléments sont à considérer pour ne pas fausser l’interprétation de vos résultats.
Le SUS qu’est-ce que c’est ?
C’est un questionnaire standardisé de 10 questions récoltant le ressenti de l’utilisateur sur un système ou un service.
Toutes les questions provoquent des réponses tranchées et l’utilisateur est invité à répondre sur une échelle à 5 points, de “Pas du tout d’accord” à “Tout à fait d’accord”. L’alternance entre des questions auxquelles il est soit en accord fort, soit en désaccord fort, l’incite à réfléchir à chaque affirmation.
Ces questions déterminent le ressenti global des utilisateurs, elles portent sur la convivialité et la complexité du service étudié.
1. Je pense que je vais utiliser ce service fréquemment.
2. Je trouve ce service inutilement complexe.
3. Je pense que ce service est facile à utiliser.
4. Je pense que j’aurai besoin de l’aide d’un technicien pour être capable d’utiliser ce service.
5. J’ai trouvé que les différentes fonctions de ce service ont été bien intégrées.
6. Je pense qu’il y a trop d’incohérence dans ce service.
7. J’imagine que la plupart des gens serait capable d’apprendre à utiliser ce services très rapidement.
8. J’ai trouvé ce service trés lourd à utiliser.
9. Je me sentais très en confiance en utilisant ce service.
10. J’ai besoin d’apprendre beaucoup de choses avant de pouvoir utiliser ce service.
Quand l’utiliser ?
Juste après l’utilisation du service ou même après une première impression rapide de l’utilisateur face au service. L’évaluation suppose des réponses spontanées et si la passation se fait en présence de l’examinateur, un débriefing peut avoir lieu ensuite pour récolter des données plus qualitatives.
Comment le calculer ?

- Pour les items 1,3,5,7 et 9, le score est le résultat sur l’échelle moins 1.
- Pour les items 2,4,6,8 et 10, le score est 5 moins le résultat sur l’échelle.
- Faire le total des scores et multiplier par 2,5 pour obtenir le score SUS qui varie de 0 à 100.
Comment le représenter, l’interpréter ?
Sous forme de graphique les résultats seront plus facilement interprétés par les parties prenantes. En 2008, Bangor, Kortum & Miller ont confronté une centaine d’utilisateurs au SUS, permettant une interprétation fiable des résultats. Conclusion : un système est jugé mauvais aux environs de 39/100, bon à partir de 73/100 et excellent à partir de 86/100.
Quels sont les avantages du SUS ?
- Sa rapidité :
> dans la mise en place : les 10 questions du SUS ont juste besoin d’être adaptées au service à évaluer.
> dans la passation : moins de 5 minutes suffisent à l’utilisateur pour cocher les réponses.
- Son faible coût :
Simple à mettre en place, donc peu coûteux.
- Sa fiabilité :
La fiabilité du SUS repose sur la régularité des utilisateurs à répondre de façon répétée aux affirmations mais aussi sur la corrélation quasi systématique de son score avec les scores d’autres outils de mesure de l’utilisabilité.
Un outil mesurant la fiabilité des questions posées lors d’un test, le coefficient Alpha de Cronback, a évalué le SUS. Classé de 0 à 1, 0,7 étant considéré comme “acceptable”, Lee Cronback estime que pour les questionnaires mesurant l’utilisabilité, le Cronback Alpha devrait être supérieur à 0,7, hors, le SUS atteint 0,92 .

- Son talent caché :
Des études plus récentes ont permis de déceler dans le SUS, une sous-échelle de mesure, celle de l’apprentissage. Les questions 4 et 10 peuvent être destinées à cette mesure en plus de l’utilisabilité dont émane l’ensemble des 10 questions.
Et pourtant comme vous le diront les chercheurs en IHM les plus redoutables, le SUS n’est pas exempt de quelques faiblesses et des précautions sont à prendre dans la passation du test comme dans l’interprétation des résultats.
Les limites du SUS
- Le contexte :
John Brook, le premier, a mis en avant l’importance du contexte dans la passation du questionnaire. Il paraîtrait invraisemblable de réaliser les tests utilisateurs et de faire passer le SUS sans définir en amont qui sont les utilisateurs potentiels, les tâches à réaliser et le cadre contextuel d’utilisation.
C’est pourquoi, aucune comparaison de score ne saurait être admise si les systèmes comparés sont différents, avec des visées différentes.
Cependant le SUS se révèle pertinent lorsqu’il s’agit d’évaluer plusieurs versions d’un même système (cycle itératif), de comparer son système avec celui de la concurrence direct ou de tester un système par rapport à différentes typologies d’utilisateurs.
- Son âge :
Des chercheurs ont tenté de démontrer la difficulté de transposer le SUS, bâti sur les schémas et outils des années 1980 dans le monde du web actuel. Il sera prudent d’adapter, dans une certaine mesure, les termes du questionnaire au contexte, en remplaçant par exemple “système” par l’objet de notre étude : une application, un site internet… Au delà de ces brèves modifications, il est souhaitable que l’examinateur s’assure que toutes les questions font réellement sens pour l’utilisateur.
- Sa ressemblance avec un pourcentage:
Allant de 0 à 100, le SUS ne doit pas être perçu par les parties prenantes comme un pourcentage.
Une façon d’apporter du sens au score SUS est de le traduire en un score percentile, à travers un processus appellé “normalizing”.
Jeff Sauro, un pionnier de la quantification de l’UX, a créé en 2011 un système qui permet d’effectuer ce calcul. Il traduit le score en lettre de A à F, A étant considéré comme le meilleur score en terme d’utilisabilité (soit un score SUS supérieur ou égal à 80). Il a pu établir la moyenne du SUS a 68/100 et estimer qu’un utilisateur sera prêt à recommander le service autour de lui à partir d’un score de 80/100.
- Le SUS, seul, ne résout pas les problèmes
Autrement dit, le SUS n’est pas un diagnostic. Un score bas, pointe sur le fait que le système a des problèmes d’utilisation mais ne précise pas l’origine du problème. D’autres méthodes et outils complémentaires, comme les mesures objectives, étudiant la perception et les attitudes de l’utilisateur face au service, devront être utilisés pour concevoir des axes d’améliorations pertinents.
Et vous, êtes-vous SUSbjugué par cet outil de mesure ?
