La livraison d’une fonctionnalité n’est pas la fin de la co-construction avec les utilisateurs

Article écrit par Lina Yahi et Chloé Lemarié, Product Owners chez OCTO

Le pass Culture a pour ambition de renforcer et de diversifier les pratiques culturelles des jeunes de 18 ans, en favorisant leur autonomisation.

Les jeunes de 18 ans étant un public peu connu et complexe à appréhender pour le ministère et les acteurs culturels, l’idée de co-construire le pass Culture avec eux s’est rapidement imposée au sein de notre équipe produit. C’était pour nous (et ça l’est toujours) le meilleur moyen de développer un produit qui répond aux besoins des jeunes de 18 ans !

Mais comment intégrer continuellement des retours utilisateurs dans la construction de notre produit une fois une fonctionnalité en production ?

On vous explique dans cet article notre démarche et nos outils, en espérant qu’ils puissent être source d’inspiration !

Partie 1 : Les outils du pass Culture pour intégrer les retours utilisateurs dans le produit

1. Les remontées du support

L’équipe support du pass Culture quantifie et qualifie les messages envoyés par l’ensemble de nos utilisateurs (mail, chat ou réseaux sociaux).

Grâce à des tags prédéfinis, portant sur diverses thématiques, un suivi hebdomadaire (quantitatif et qualitatif) des demandes nous permet :

• d’identifier rapidement les tendances sur le court terme, et de mettre en place des solutions permettant de facilement résorber les demandes. Exemple d’un tag inhabituel : “La barre de recherche fonctionne mal”
• d’observer des tendances sur des périodes longues, et d’ainsi repérer des signaux faibles permettant de construire au mieux la roadmap produit. Exemple d’un tag récurrent : “Étoffer le catalogue de jeux vidéos”
• de suivre les effets des évolutions produit. Exemple : après la mise en place du nouveau processus d’inscription au pass Culture, y-a-t-il moins de retours négatifs sur le sujet ?

Ces retours sont régulièrement communiqués à toute l’équipe du pass Culture afin qu’elle soit sensibilisée à la réalité du terrain et au développement centré utilisateur (quelle est la perception du produit ? Comment sont formulées les demandes ? Quel type d’offres démarcher en priorité ? etc.)

On vous conseille la lecture de cet article pour découvrir nos meilleurs retours au support. Et en guise de teasing :

2. Le point des rencontres (tout) terrain

Afin de consolider les retours terrains des utilisateurs (jeunes de 18 ans comme acteurs culturels), un point bi-mensuel “Suivi des irritants” a été mis en place au pass Culture. Ce rendez-vous réunit les chargés de développement (ceux qui sont justement sur le terrain au contact direct des acteurs et des jeunes en région), le support, les chargés d’étude, les UXs et les POs. Ce point vise à partager les difficultés, frustrations ou frictions rencontrées par les utilisateurs et à trouver ensemble des solutions court et moyen termes pour transformer l’insatisfaction en une expérience positive.

Les nouveaux irritants sont caractérisés selon trois axes :

• La fréquence avec laquelle ils remontent du terrain
• La pénibilité estimée pour l’utilisateur
• La complexité de correction : certains irritants demanderont une action simple et peu coûteuse et pourront être corrigés rapidement, d’autres demanderont une implication plus grande de la part de l’équipe technique.

Les irritants déjà caractérisés ne sont pas oubliés, surtout si des éléments nouveaux viennent les nourrir et font évoluer leur niveau de priorité.

L’équipe produit inscrit dans la roadmap générale les chantiers techniques afférents priorisés selon les trois axes de caractérisation, permettant ainsi à chaque personne de l’équipe confrontée aux retours négatifs des utilisateurs de suivre leur résolution.

Partie 2 : Analyses qualitatives et quantitatives

1. Les études

Il est parfois difficile pour les chargées de développement territorial ou le support de valider ou d’invalider une hypothèse qui expliquerait l’origine d’un irritant. C’est pourquoi nous pouvons être amenés à effectuer des études auprès de nos utilisateurs de façon à affiner la perception de leurs attentes et de leurs besoins.

Nos études peuvent être qualitatives (entretien téléphonique, rencontre, témoignage, email…) ou quantitatives (questionnaire envoyé à un échantillon représentatif…). La plupart du temps, nous essayons de mêler les deux méthodes en testant les hypothèses qui ont émergé lors d’entretiens qualitatifs à l’aide d’un questionnaire en ligne pour y associer l’aspect quantitatif.

L’article Au plus près des utilisateurs — le pass & les personas explique notamment comment coupler une approche qualitative à une approche statistique et nous a permis d’en apprendre plus sur nos utilisateurs.

2. L’analyse de données

Nous analysons nos données de plusieurs manières :

• Les données brutes, qui sont stockées dans nos bases de données, que nous exploitons et rendons accessibles à tous grâce à l’élaboration de tableaux de bord hebdomadaires.
  Ces tableaux de bord permettent un suivi hebdomadaire de nos indicateurs utilisateurs en termes de connaissance, acquisition, rétention et diversification. Par exemple, la répartition des réservations par catégories et le classement des offres et des offreurs les plus réservés de la semaine nous donnent des indications sur les tendances du moment.
  Nous utilisons pour cela les outils de datavisualisation Métabase et Tableau.
• Nous exploitons également les données comportementales grâce à Matomo, un logiciel open source d’analyse de navigation web. Ces informations sur les actions de navigation de nos utilisateurs nous aident à détecter les fonctionnalités qui apportent le plus de valeur et celles qui sont le moins adoptées et utilisées.

3. Le NPS

Nous avons mis en place le NPS (Net Promoter Score), une métrique produit consistant à demander à nos utilisateurs d’attribuer une note allant de 1 à 10 à leur expérience avec le pass Culture formulée ainsi “Recommanderiez-vous cette application un ami?”. Une fois cette note attribuée, l’enquêté est redirigée vers une question à réponse libre : “Pourquoi avoir attribué cette note ?”.

Cette question libre nous permet de collecter des données régulières sur le rapport qu’entretiennent les utilisateurs avec l’application. Un système de tags — qui a inspiré la catégorisation des retours “support” — permet alors de quantifier les retours. Les retours négatifs sont évoqués lors des points dédiés à la remonté des irritants tandis les retours positifs sont diffusés à l’équipe et viennent nourrir le contenu des communications du pass Culture.

Le NPS peut s’avérer donc très utile pour mesurer l’impact de nouvelles fonctionnalités en corrélant les livraisons importantes au score obtenu. Les verbatims accompagnant la justification de la note permettent d’identifier les actions à entreprendre afin d’ améliorer la satisfaction des utilisateurs.

4. L’indicateur d’utilisabilité

L’indicateur d’utilisabilité permet de recueillir le point de vue de l’utilisateur sur la facilité d’utilisation d’un système selon plusieurs critères : efficience, satisfaction, apprentissage, mémorisation et fiabilité.
Au sein du pass Culture nous avons mis en place le SUS (ou System Usability System), l’un des tests d’utilisabilité standardisé le plus répandu.
Le SUS se compose de dix questions présentées sous forme d’affirmations qui couvrent l’intégralité des problématiques d’utilisabilité (Exemple : “J’utilise l’application fréquemment”, “Je trouve cette application facile d’utilisation”, etc…).
L’utilisateur répond en utilisant une échelle allant de “Pas du tout d’accord” à “Tout à fait d’accord”.

Le score final se présente sous forme de note entre 0 et 100, la note moyenne étant de 68.

Le SUS peut être conduit sur l’intégralité du produit ou sur une fonctionnalité, régulièrement ou ponctuellement.

Pour en savoir plus sur la mise en place du NPS et du SUS, nous vous conseillons la lecture de notre article dédié.

Conclusion

En conclusion, nous pouvons résumer notre démarche en 3 étapes :

• Rassembler les différents retours des utilisateurs qu’ils soient spontanés ou provoqués.
• Analyser et apprendre : parcourir l’ensemble de données et les utiliser pour en tirer des leçons, exemple : “les utilisateurs ne sont pas satisfaits de la fonctionnalité de recherche”.
  Ces données peuvent également être utilisées pour répondre à un ensemble spécifique de questions, exemple : “Quelle fonctionnalité est jugée trop complexe ?”
• Prioriser et appliquer : en partant des conclusions d’analyse, créer un ensemble d’actions priorisé à intégrer à la roadmap produit.

Cette boucle permet d’améliorer constamment le produit et de fidéliser les utilisateurs.

Pour vous aider à vous approprier ces outils, nous avons fait l’exercice de les classer selon 2 critères :

• la représentativité : dans quelle mesure les retours récoltés via l’outil sont représentatifs de tous nos utilisateurs ? Pour ce critère nous prenons en compte la pro-activité ou passivité de l’utilisateur, c’est-à-dire, est-ce que l’utilisateur est sollicité pour donner un avis (exemple du NPS) ou le retour est-il spontané (remontée support ou lors du point SAV) ?
• la pénibilité : dans quelle mesure pense-t-on que les retours témoignent de vrais difficultés des utilisateurs, et doivent donc être priorisés ? La façon de récolter les retours permet-elle de s’en rendre compte ?

Cette classification repose sur notre retour d’expérience des outils, elle est donc subjective et amenée à évoluer.

Légende :

• Pénibilité : du vert représentant le moins pénible, au rouge le plus pénible
• Représentativité : du vert représentant le très représentatif au rouge, le moins représentatif