L’indicateur de réputation et l’indice d’utilisabilité : deux méthodes pour prendre en compte les retours utilisateurs sur le long-terme
Comment savoir si nos utilisateurs sont satisfaits du produit ? Comment caractériser et prioriser leurs retours et irritants afin de construire une roadmap de développement qui prend en compte le plus possible des besoins des utilisateurs ?
Ces questions sont posées quotidiennement au sein des équipes du pass Culture : nous avons mis en place de nombreux outils et méthodes qui permettent, chacune à leur manière, de garder un œil attentif sur l’ensemble des retours utilisateurs. Cet article s’attarde sur deux d’entre eux : l’indicateur de réputation (ou Net Promoting Score, NPS) ainsi que l’indicateur d’utilisabilité (ou System Usability System, SUS).
Cet article a été écrit par l’équipe produit du pass Culture, et notamment Alizée Lambert, UX/UIdesigner ainsi que Mandy Llamas, chargée d’études.
1. L’indicateur de réputation (IR)
A. Un outil de mesure de la satisfaction globale de nos utilisateurs
L’Indicateur de réputation s’inspire de la méthode du Net Promoting Score créée par la société Bain. Elle consiste à proposer au bénéficiaire d’un service d’attribuer une note allant de 0 à 10, en répondant à la question “Recommanderiez-vous le pass Culture à un ami ?”. Nous considérons en effet qu’un utilisateur satisfait du dispositif le recommanderait à ses proches.
- Les utilisateurs qui répondent entre 0 et 6 sont considérés comme des détracteurs : ils parleront en négatif du pass Culture, le déconseilleront à leurs proches.
- Les utilisateurs qui mettent une note entre 7 et 8 sont considérés comme neutres : ils ne décourageront ni n’inciteront d’autres personnes à utiliser l’application.
- Les utilisateurs qui donnent une note de 9 ou 10 sont promoteurs : ambassadeurs du pass Culture, ils sont suceptibles de recommander l’application à leurs proches.
Notre objectif est donc d’avoir un minimum de détracteurs, et un maximum de promoteurs.
L’indicateur de réputation est calculé en soustrayant au pourcentage de promoteurs, le pourcentage de détracteurs. Il peut ainsi osciller entre -100 (100% de détracteurs) et + 100 (100% de promoteurs). Dans la pratique, ce genre d’indicateurs prend plutôt des valeurs entre -20 et +80.
Dans un premier temps, ce questionnaire a été envoyé tous les quinze jours à un panel représentatif (5%) de nos utilisateurs. Depuis peu, il est envoyé à des échantillons plus faibles quotidiennement. Un relevé et une analyse de l’indicateur sont alors effectués tous les quinze jours.
L’Indicateur de Réputation prend tout son sens lorsqu’il est :
- apprécié dans le temps, et mis au regard de l’ensemble des actions menées au sein du Produit comme en-dehors
- analysé à l’échelle de sous-populations, comme à l’échelle régionale, car des facteurs exogènes peuvent expliquer le mécontentement ou l’engouement de certains utilisateurs (un festival annulé en Bretagne peut rendre les Bretons très mécontents…).
C’est pourquoi, les résultats de ces mesures sont présentés sous la forme d’un tableau de bord qui permet d’en observer les évolutions.
B. Pour aller plus loin : un outil de collecte des attentes utilisateurs et une aide à la veille
Suite à l’attribution de cette note, une question ouverte permet à l’utilisateur de justifier son choix : “Pourquoi avez-vous attribué cette note ?”.
L’analyse des réponses à cette question, passant notamment par la quantification des termes récurrents, permet de caractériser les attentes des utilisateurs. À l’instar de la note accordée par l’utilisateur, l’évolution du nombre de retours pour des sujets spécifiques permet d’estimer les effets des modifications apportées au dispositif.
C. Et encore plus loin : en savoir plus sur nos utilisateurs
Dans une démarche constante d’enrichissement de notre compréhension des utilisateurs, des études sont régulièrement menées auprès des individus auxquels s’adresse le pass Culture.
L’Indicateur de réputation, au travers de la régularité des mesures effectuées, intervient comme un moyen ponctuel de mettre à jour les références culturelles de nos utilisateurs (“quelle est ta musique du moment ?”…) ou de les interroger sur un point spécifique (“comment as-tu entendu parler du pass Culture ?”).
2. L’Indicateur d’utilisabilité (SUS)
A. Un outil de mesure de l’utilisabilité de l’application
Recueillir l’avis de nos utilisateurs sur l’utilisabilité de l’application pass Culture est rapidement devenu un enjeu permettant une amélioration continue du dispositif.
L’utilisabilité (facilité d’utilisation d’un système) repose sur cinq critères :
- Efficience : est-ce facile d’atteindre mon objectif ?
- Satisfaction : suis-je satisfait lorsque j’utilise le produit ?
- Apprentissage : est-ce facile de comprendre comment utiliser le produit ?
- Mémorisation : suis-je en capacité de mémoriser comment fonctionne le produit ?
- Fiabilité : mon nombre d’erreur est-il limité ?
Une mesure régulière de l’utilisabilité nous permet de valider que la mise en ligne d’une fonctionnalité contribue à l’amélioration de l’application…Ou de nous rendre compte de l’impact négatif d’une fonctionnalité mise en ligne quelques semaines auparavant.
B. Un outil d’analyse des effets produits par les ajustements apportés à l’application
L’échelle que nous utilisons au sein de notre équipe Produit est le SUS (System Usability Scale), une des échelles d’utilisabilité les plus célèbres. Elle permet de capturer simplement un instantané de l’application à un instant T. Le score final se présente sous forme de note entre 0 et 100, la note moyenne étant de 68. Une note au-dessus de 68 est donc considérée comme bonne, une note en dessous de 68 est perçue comme mauvaise… L’objectif étant d’atteindre la note la plus proche de 100 !
Tous les mois, nous envoyons à nos nouveaux utilisateurs un questionnaire, afin de recueillir leur avis en 10 questions. Ces questions, présentées sous forme d’affirmations, couvrent l’intégralité des problématiques d’utilisabilité, en donnant la possibilité à l’utilisateur de se positionner par rapport à chacune d’elles (Exemple : “J’utilise l’application fréquemment”, “Je me sens très en confiance en utilisant cette app”, etc…).
Tout comme l’Indicateur de Réputation, le score obtenu lors de l’analyse du SUS prend son sens lorsqu’il est :
- Apprécié dans le temps, et comparé aux notes obtenues précédemment, afin d’en dégager une tendance
- Mis au regard des différentes fonctionnalités ou améliorations mise à disposition des utilisateurs entre deux prises de mesure
Par exemple, cette analyse nous a permis de valider l’hypothèse que la mise à disposition de l’application sur le Play Store Google augmente la fréquence d’utilisation de l’application… Avec pour conséquence une augmentation du score SUS. Elle nous a également servis à extraire des points faibles (exemple : une complexité perçue forte) et à formuler des axes d’amélioration précis.
C. Pour aller plus loin : un moyen d’évaluer la cohérence entre les attentes des utilisateurs et la réalité de l’application
À la suite des 10 questions qui nous servent à mesurer le SUS, nous proposons à nos nouveaux utilisateurs de répondre à deux questions subsidiaires “Est-ce que l’application pass Culture correspond à l’image que tu t’en faisais avant de la télécharger ?” et “Est-ce que les offres proposées dans l’application correspondent à tes attentes ?” ; des champs libres sont proposés afin d’étoffer les réponses, et nous permettent d’obtenir des retours qualitatifs au sujet de l’expérience de découverte de l’application.
L’analyse de ces réponses nous permet d’évaluer le delta entre les attentes des utilisateurs et la réalité du produit et d’estimer les améliorations potentielles à apporter au dispositif.
Conclusion
L’Indicateur de Réputation constitue un outil de prise de mesure de la satisfaction globale de l’utilisateur en sollicitant son avis concernant l’expérience proposée par le pass Culture. La prise en compte des retours des utilisateurs permet d’identifier leurs points de frustrations et suggestions afin d’alimenter les réflexions des équipes quant à l’amélioration du dispositif dans un champ très large (périmètre du projet, condition d’utilisation, suggestions d’offres…).
Le SUS assure l’évaluation régulière de l’utilisabilité de l’application en interrogeant les premiers pas de l’utilisateur sur l’application. À ce titre, il permet de caractériser les points bloquants et incompréhensions rencontrés lors de l’utilisation du produit de façon à orienter les développements techniques de celui-ci.
Tout deux constituent des outils qui s’apprécient dans le temps et au regard des transformations apportées à l’application et plus globalement au dispositif “pass Culture”.
Depuis ses débuts, le pass Culture entend associer ses utilisateurs à la construction du dispositif.
Ainsi, plus que des outils de mesure de satisfaction, l’Indicateur de Réputation et le SUS permettent par la prise en compte de la parole de l’utilisateur, d’apporter de la valeur ajoutée au dispositif.
