Il n’est jamais trop tôt pour des tests utilisateurs
Case Study : PWA chez France Télévisions
Une PWA c’est quoi ?
Une PWA ou Progressive Web App est un site Internet ayant intégré des fonctionnalités jusqu’alors réservées aux applications. L’utilisateur fait ainsi l’expérience d’une navigation rapide, immersive, faible en ressources de stockage et s’ajustant en fonction de la compatibilité des devices.
Si le sujet vous intéresse je vous invite à lire mon article :
Early test, la clef d’un produit réussi ?
Il y a pas de “ bons ” ou de “ mauvais ” timing pour un test utilisateur et il n’est jamais trop tôt !
Pour un produit, préparer des tests utilisateurs peut paraître impressionnant et les résultats rédoutés. Il faut sortir de cette appréhension pour le bien de votre service. Sonder les utilisateurs sera toujours mélioratif et vous permettra d’être plus performants. Tester votre idée, votre produit tôt vous permettra de bâtir sur des fondations solides.
Un early test, n’est pas une méthode. Il n’y a pas de format imposé. Le bon format dépendra de ce que vous souhaitez confirmer ou infirmer.
- Par exemple : vous souhaitez voir si votre idée peut trouver son public ou mieux connaitre votre cible ? Un test quantitatif peut-être approprié.
- Vous avez dessiné vos premières marquettes ? Vous pouvez les interactiver sur POP et partir en guérilla testing.
- Vous avez déjà des maquettes ? Vous pouvez les interactiver sur InVision, plugger Maze, envoyer le lien à votre panel et visualiser leur comportement.
Mais l’intérêt d’être en early test est de ne pas aller trop loin dans la finition des prototypes et de tester différents scénarios. De vos premières hypothèses, vous pourrez commencer à avoir des convictions.
Parmi les nombreux avantages à tester tôt un “ concept-produit ”, je vous livre mon top trois :
1.S’affranchir des idées “ théoriques ” sur nos utilisateurs, commencer à les comprendre et les observer “ concrètement ”
Nous avons tous des idées préconçues sur nos utilisateurs et il est facile de les cloisonner dans des schémas types. Cependant, en réalité nos utilisateurs sont toujours surprenants. Ils adoptent facilement des comportements différents que ceux que nous aurions penser observer. Les tests utilisateurs sont primordiaux pour connaitre et observer véritablement nos utilisateurs. Les tests permettent d’ajuster un produit mais aussi d’être plus innovant.
Innovant ? Oui car il pourrait nous arriver de sous estimer nos utilisateurs : “ils ne sont pas prêts ”, “ ils ne vont pas comprendre ” etc… Tous ces préjugés et peurs peuvent nous pousser à rester dans une certaine zone de confort. Être en early test permet d’appréhender rapidement l’acceptance d’un utilisateur à un produit et de se rendre compte que nous l’avions sous-estimé.
2. Trébucher et se relever à faible coût
Modifier un produit déjà développé coûte cher. Si nous attendons le dernier moment pour consulter l’Utilisateur, il faudra s’attendre à ce que les axes d’améliorations soient conséquents. Sachant que faire quelque pas en arrière peut s’avérer un gouffre financier (par exemple si l’expérience est trop décevante et qu’il faille changer de technologie) les enjeux de tests tardifs sont extrêmement risqués. Dans le pire des cas, le service se rend compte que l’axe emprunté est mauvais, l’entreprise doit alors pivoter et cela peut signer presque instantanément son arrêt de mort. Tester tôt permet de rapidement se remettre en question et de réorienter un produit sans avoir déjà investi des sommes considérables. Tester tôt permet aussi à l’équipe d’être moins “investie émotionnellement” donc de se réadapter plus facilement et de faire preuve de plus de recul. Imaginez-vous ayant travaillé pendant 9 mois, votre projet est devenu comme votre enfant, vous l’aimez. Lorsqu’arrivent des utilisateurs qui ne comprennent pas à quoi il sert. Il serait humain de se dire “que de toute façon ils n’ont rien compris” même si nous savons très bien que ce sont eux qui ont raison !
3. Revaloriser des équipes techniques et construire le produit sur les mêmes bases.
J’ai pu côtoyer certains développeurs qui m’ont fait part de leur déception d’être considérés comme de “simples exécutants”. Ils ne savaient pas pourquoi ils faisaient certaines choses et se sentaient bloqués dans leur créativité. Faire des early tests permet à toute une équipe de se construire sur les mêmes bases et les mêmes objectifs. En observant les premiers retours, une équipe technique comprendra exactement quels sont les besoins de l’utilisateur et pourquoi le produit a été pensé ainsi. Lorsque l’équipe commencera à travailler, elle aura, elle aussi, un objectif et une vue sur la qualité de son travail. Les équipes ne travaillent pas sous un ordre descendant mais pour un but personnifié. Ce qui pourra totalement changer sa façon de créer le service et de penser l’architecture, les technologies etc… vers ce but commun.
Tester tôt apparait alors comme étant fondamental au service. N’attendez pas d’avoir un prototype fonctionnel. Testez des idées, testez des scénarios, testez des low prototypes sans développement. Testez souvent. Cela permettra de conserver la motivation de votre équipe qui aura conscience que son produit devient solide et aurait plus d’espace pour être innovante. Testez en amont vous permettra de prioriser les features et d’identifier celles manquantes. Tester tôt est également un argument à ne pas négliger auprès d’investisseurs.
Un produit ayant été construit intelligemment avec du feedback utilisateur est un produit plus sûr.
https://blog.prototypr.io/early-usability-test-decides-the-products-future-1b68a41cd0ec
Case Study: Comment nous avons réalisé nos early testings
Les premiers chantiers France Télévisions vers une PWA
Profitant d’un partenariat avec Google, France Télévisions a entrepris une première familiarisation aux PWA du coté technique. Par exemple, les équipes ont ainsi pu intégrer la fonctionnalité “ ajout à la home ”, commencer à défricher les gestions offline ainsi que les push web.
Au mois de février, Bérengère Capdequi, PO chargée du projet, est venue nous solliciter pour réaliser des tests utilisateurs de ces fonctionnalités déployées. Ensemble, nous avons décidé de profiter de cette opportunité pour ne pas tester des fonctionnalités déjà en production mais plus généreusement de tester différents scénarios sur diverses fonctionnalités qu’offrent une PWA.
Notre but était, grâce à nos tests qualitatifs et quantitatifs, d’avoir une première recommandation sur les PWA. Nous souhaitions identifier nos sites où il serait pertinent d’y investir notre énergie en vue d’un passage vers une PWA, d’avoir des premières pistes d’architectures et surtout d’élaborer une première road map !
Comment nous avons procédé ?
Au moment des tests, les datas dont nous disposions ne nous permettaient pas de connaitre et de comprendre assez bien nos utilisateurs pour faire une recommandation qualitative.
Nous avons l’opportunité de pouvoir solliciter un panel d’utilisateurs France Télévisions pour connaitre mieux nos cibles et mieux répondre à leurs attentes.
Nous avons donc commencé par faire des tests quantitatifs visant à connaitre nos utilisateurs (leurs consommations, leurs équipements et leurs intérêts pour différentes features liées aux PWA).
Nous avons envoyé un questionnaire à nos utilisateurs du site France 3 régions et Franceinfo et un questionnaire à nos utilisateurs de La 1ère. Nous avons reçu l’équivalent de 600 réponses.
Nos questionnaires comportaient 12 questions à choix multiples. La moitié des questions portaient sur leur consommations de notre service et leur équipement (type de téléphone, problèmes de réseaux ou stockage, leur rapport aux applications). L’autre moitié les questionnait sur leurs envies et l’intérêt qu’ils porteraient à la possibilité de naviguer hors ligne, de gérer les notifications et intérêts etc..).
L’étude des résultats nous aura permis de dégager des comportements globaux et de commencer à prioriser les besoins.
Nous avons ensuite organisé deux jours de tests qualitatifs avec des utilisateurs de Franceinfo. Nous avons trié et sélectionné des candidats pour avoir des profils les plus variés possibles. Cependant, un de nos critères de sélection était de n’avoir que des utilisateurs du site (ou de l’app) Franceinfo qui naviguaient au moins 1 fois toutes les deux semaines. Nous avons réussi à avoir des profils de 26 à 60 ans avec des degrés de familiarité à l’outil plutôt hétérogène (même si la moitié de nos utilisateurs étaient des hommes entre 30 et 50 ans très technophyles).
Ces tests ont demandé plus de préparations et un prototype plus complexe (réalisé sur Atomic). Nous avions décidé de tester quatre fonctionnalités/ comportements auprès de nos utilisateurs. Pour chaque fonctionnalité nous testions trois scénarios dont l’ordre était choisi aléatoirement :
- l’ajout à la home (avec trois d’accompagnements différents)
- le retour au site (visant à observer si l’utilisateur utilisait son navigateur ou le raccourci installé quelques instants plus tôt)
- la gestion du offline (avec deux parcours différents — pour l’anecdote deux testeurs ne se sont même rendu compte qu’ils étaient passés hors ligne pendant le scénario !)
- la gestion des notifications (avec dans un cas un centre de gestions des notifications dans un autre un espace regroupant tous les flash de la journée).
Le but n’était pas tant de choisir infine un scénario plutôt qu’un autre mais surtout d’observer leur réaction et appréhension quant aux possibilités qu’offrent les PWA.
Dans une deuxième phase de test, nous entamions une discussion avec l’utilisateur en revenant sur les différentes phases du tests et en lui demandant son ressenti pour chacun des scénarios. Nous lui demandions de noter sur une échelle de 1 à 5 les différentes fonctionnalités. La discussion visait plutôt avoir les points d’amélioration des interfaces proposées.
Les retours se sont avérés très homogènes et en accord avec les tests quantitatifs quant aux priorités du développement d’une PWA. Les retours nous ont surtout été très utiles comme premier retour concernant l’architecture ainsi que pour la conception des futures fonctionnalités.
4 mois après ces early test
Aujourd’hui, nous avons déjà mis en chantier un espace et centre de notifications sur l’app Franceinfo (ces tests étaient à l’origine destinés en vue d’une PWA, cependant ils ont aussi nourri nos réflexions sur l’app). Et nous mettons en production une V1 à la gestion offline du site Franceinfo. Une full PWA est actuellement en étude pour La 1ère et est actuellement en étude.
Faire ces tests utilisateurs en amont nous aura permis d’affirmer nos intuitions et de hiérarchiser les besoins. Surtout cela nous aura fait gagné du temps et de l’argent en nous évitant de développer ou de faire des maquettes qui ne seraient pas en adéquation avec les attentes de nos utilisateurs. Du côté technique, il est plus facile pour nous de savoir où nous allons et comment faire puisque les équipes ont déjà une appréhension des outils.
Il n’est jamais trop tard pour faire des tests utilisateurs mais nous pouvons aussi affirmer qu’il n’est jamais trop tôt pour intégrer des utilisateurs et des UX designers dans des réflexions de fond :)
Si vous vous intéressés aux autres artciles que nous avons écrit autour de le PWA :
- Pensez à clapper 50 fois 👏 cet article pour nous encourager à continuer.
- Pensez à vous abonner à :
