Christopher Parola
May 14 · 8 min read

… et en quoi cela a fait grandir notre équipe

Pour ceux qui découvrent le concept, les outils d’enregistrement de session permettent de faire des choses simples : enregistrer la session d’un utilisateur sur votre site et pouvoir la revoir re-jouer la session d’un utilisateur sur votre site. On peut citer FullStory et HotJar parmi les outils de ce type les plus utilisés.

Voilà deux mois que nous avons arrêté d’utiliser notre outil d’enregistrement de sessions et avec le recul nous ne regrettons pas ce choix. Il a permis à notre équipe de trouver des outils de recherche utilisateur permettant de savoir pourquoi l’utilisateur agit ainsi, là où l’enregistrement de session nous permet seulement de constater un comportement étonnant et nous laisse avec nos questions. Le retrait de ces outils n’a pas fait l’unanimité et a créé une certaine inquiétude, même au sein de l’équipe produit. Mais nous avons appliqué nos pratiques habituelles de Test & Learn et avons travaillé pour trouver une alternative efficace.

Qu’est-ce qui nous a initialement motivé à nous séparer de ces outils après plus de deux ans d’utilisation ?

Si les FAQ de ces outils regorgent d’articles expliquant pourquoi ils sont RGPD-compliant, l’enregistrement des sessions des utilisateurs à leur insu pose une réelle question de confiance. Quand bien même le bandeau vous prévenant que vous acceptez les cookies du site a été ajouté pour demander le consentement, qui d’entre-vous prend le temps de lire et de soigneusement les configurer ?

Ces solutions, si elles sont bien mises en place masquent de nombreux champs : mots de passe, adresses email, numéros de téléphone. Mais qu’arrive-t-il si un de vos utilisateurs copie colle une information confidentielle dans un champ non masqué ?

Si on revient à la philosophie de RGPD et de la protection des données utilisateurs, on peut la résumer ainsi : il ne faut rien faire à l’insu d’un utilisateur et sans avoir collecté son consentement préalable. Et quand on pense aux services que l’on utilise, on espère tous que c’est le cas. Nous avons tous été choqués d’apprendre que des employés d’Amazon ré-écoutent des enregistrements audio d’Alexa pour vérifier que la reconnaissance vocale a bien fonctionné. Pourtant cette éventualité était prévue dans les Conditions Générales d’Utilisation que les utilisateurs ont tous acceptés, mais que peu ont lues.

Même en utilisant correctement Qu’arriverait-il si vos utilisateurs découvraient que vos équipes, en mangeant des pop-corns et des Schoko-bons™, regardent des replay de leurs sessions ? Nous avons donc décidé de lancer une réflexion dans notre équipe : comment remplacer les outils d’enregistrement de session sans perdre en efficacité ?

L’usage que nous avions de ces outils et les alternatives

Identification de « bug d’interface »

Regarder des sessions utilisateur sur des périphériques exotiques (tiens, un Blackberry vient de se connecter sur le site !) permet de tester « grandeur nature » nos solutions et de découvrir des bugs d’interface. Boutons mal placés, templates qui cassent, liens qui n’apparaissent pas… autant de difficultés pour nos utilisateurs.

Cet usage des outils d’enregistrement de sessions ont présenté deux limites sur ce thème :

  • La majorité de notre site présentant des cartes aux utilisateurs et utilisant énormément de JavaScript, les cartes n’étaient pas visibles dans l’enregistrement de sessions
  • Le lecteur attentif devrait être choqué à ce stade : on est entrain d’utiliser un outil pour tester notre site EN PRODUCTION. Cela veut dire qu’on espère avoir bien travaillé et que potentiellement un utilisateur rencontrera le problème pour que nous puissions le corriger.

Nos développeurs ont travaillé ces derniers mois pour mettre en oeuvre des tests d’interface et s’appuient sur BrowserStack pour tester nos interfaces sur les périphériques les plus représentatifs du parc utilisateur. Ces tests nous permettent en avance de phase de détecter des problèmes et donc de nous passer de l’analyse manuelle de centaines de sessions post-déploiement.

Reproduction de bugs utilisateurs

Cet usage était le plus pratique. Notre plateforme propose le site www.meilleursagents.com mais également un accès professionnel pro.meilleursagents.com. L’enregistrement de session et de l’identifiant de l’utilisateur connecté nous permettait, en cas de bug rencontré par un agent immobilier, de retrouver la session et de voir le bug « en live ». Cette pratique nous faisait gagner du temps en nous permettant de reproduire à coup sûr le problème.

Le retrait des outils nous a contraint à muscler notre jeu sur le « bug reporting », notamment de la part de nos équipes Opérations qui sont quotidiennement en contact avec nos clients. Nous avions déjà un template encadrant les remontées de bug via mail ou JIRA afin de faciliter la reproduction de celui-ci (demandant par exemple de préciser la version du navigateur du client). Nous avons profité du retrait de nos outils d’enregistrement de sessions pour systématiser l’usage de ce template. En parallèle, la création d’un poste de « Support » au sein des équipe Opérations était en réflexion et a permis d’améliorer le niveau du bug reporting : il est désormais très simple pour un Product Manager de reproduire le problème rencontré et de le documenter pour résolution.

Découverte et compréhension de nos utilisateurs

La majorité des entreprises utilisant l’enregistrement de sessions vantent parmi ses mérites le fait que c’est un formidable outil de recherche utilisateur. On peut sélectionner les sessions les plus pertinentes, les partager ou même organiser des sessions de replay de ces sessions.

Pour en avoir utilisé pendant plus de deux ans chez MeilleursAgents et plus de cinq ans auparavant, je suis sceptique sur ce point à deux titres :

  • Brancher Fullstory sur un site attirant 2M de visiteurs par mois et espérer apprendre en regardant les sessions utilisateurs revient à chercher une aiguille dans une botte de foin : on va regarder un volume incroyable de sessions avant d’identifier un problème.
  • Constater des sessions « anormales » ou « étonnantes » nous laisse systématiquement avec la question POURQUOI sur les lèvres et nous oblige à creuser le pourquoi (notamment via nos arbres d’hypothèses).

Nous avons par exemple utilisé ces outils lors de la refonte de nos parcours d’estimation. A la fin de la refonte, nous avons étudié une centaine de sessions utilisateurs pour identifier clairement des problèmes d’ergonomie qui devaient être adressés. Cependant cette identification nous a seulement indiqué où regarder mais un grand nombre de ces problèmes ont nécessité de poser des hypothèses et faire un grand nombre de tests pour comprendre pourquoi l’utilisateur avait ce comportement.

La lutte du quoi et du pourquoi n’est pas nouvelle

Notre conviction chez MeilleursAgents est qu’il existe différents types de recherches utilisateurs. On peut parler d’une recherche utilisateur pure, sans a priori, qui doit nous permettre de découvrir de nouveaux usages. On peut penser aux pratiques du Design Thinking (immersions chez les clients, découverte de pratiques d’autres industries etc.). Et on parle d’une recherche utilisateur appliquée, qui vise à répondre à la question pourquoi. La palette pour ce second type de recherche est très large : tests utilisateurs pré et post production, problem interviews, solution interviews, tests quantitatifs…

Les outils d’enregistrement de sessions ne nous donnent qu’un indice, un début de questionnement, qui va nécessiter ensuite l’artillerie de la recherche utilisateur appliquée. On peut également noter que les outils analytique nous donnent déjà beaucoup de QUOI, notamment grâce à de l’analyse d’événements et des heatmaps. Ce début de questionnement est très intéressant, mais peut être amené par d’autres outils qui permettent eux-mêmes de répondre à la question pourquoi.

Et le côté ludique ?

C’est vrai, les enregistrements de sessions ont un côté ludique. Ils permettent de créer des clips et de les partager facilement dans l’entreprise ; cela améliore la communication et la compréhension de l’utilisation de nos services (compréhension limitée au comment et non au pourquoi :-)).

Le côté ludique peut être amené par l’ensemble des autres outils de recherche utilisateur. L’essentiel est de bien prévoir de partager les résultats de ces outils, qu’ils s‘agisse d’une enquête quantitative ou d’un test utilisateur en présentiel avec un utilisateur manipulant notre site devant nous.

Remplacer cet outil par un qui amène le « pourquoi »

Nous avons profité de notre arrêt de FullStory pour mettre en place des tests utilisateurs dans nos locaux de manière ritualisée. Cet article n’a pas pour vocation de présenter toute la finesse de cette démarche (d’autres articles viendront pour le faire), mais je tiens à vous présenter les avantages que nous avons constaté.

Pour le recrutement des testeurs pour ces sessions, nous avons décidé de nous appuyer sur Testing Time. La plateforme est très efficace et l’outil permet d’avoir des segments utilisateurs aussi précis que nécessaire.

Ces tests utilisateurs sont des tests réalisés dans nos locaux : nous organisons une demi journée au cours de laquelle cinq testeurs viennent manipuler nos solutions. Ces tests sont enregistrés (les testeurs sont prévenus et signent un document pour nous autoriser à le faire) et diffusés en temps réel dans une autre salle de nos locaux. Cette diffusion est ouverte à l’ensemble des équipes de l’entreprise. Pour garantir une parfaite transmission de l’information, nos UX Designers créent une vidéo « récapitulative » des résultats de ces tests et présentent leurs conclusions lors de la démonstration Scrum ayant lieu tous les 15 jours.

Ces tests peuvent être réalisés sur des parcours en production, ce qui nous permet de voir ce que nos utilisateurs comprennent ou non, ou sur des prototypes. Cela est un des nombreux avantages de cette méthode, qui nous permet de tester de valider des concepts pré-production.

Alors, on est au top ?

Pas encore !

La question de l’arrêt des enregistrements de session nous a permis de prendre du temps sur nos pratiques et sur les outils que nous mettons en oeuvre. Notre conviction est que la recherche utilisateur doit, dans la majorité des cas, être orientée vers une problématique ou un sujet sinon elle a très peu de chances d’impacter réellement nos OKRs.

Cependant, ces outils d’enregistrement de sessions nous manquent encore lors des quelques jours suivant la mise en ligne de nouvelles fonctionnalités ou produits. Nous apprécions de pouvoir regarder les premiers usages et constater que tout fonctionnait convenablement. Nous n’avons pas encore suffisamment fait de tests utilisateurs pré-production pour être sûrs de la bonne compréhension de ce que nous avons mis en ligne au moment du déploiement : la multiplication de ces tests utilisateurs devrait nous rassurer et nous permettre de ne plus sentir ce manque.

S’il ne fallait retenir que quelques lignes…

  • Les questions de confiance liées à l’enregistrement de sessions nous ont poussé à réfléchir à nos méthodes de recherches utilisateurs.
  • Nous avons identifié trois usages principaux : identification de bugs, reproduction de bug, tentative de compréhension du besoin utilisateur.
  • La mise en place de tests d’interface automatisés nous permet de tester notre plateforme sur différents supports et d’identifier les bugs en amont.
  • La compréhension du besoin utilisateur n’est réussie que quand on comprend pourquoi l’utilisateur agit d’une certaine façon : le constat de ses actions ne suffit pas.
  • La mise en place d’autres pratiques (tests utilisateurs en présentiel notamment) nous amène de meilleurs résultats sans faire des choses dans le dos de nos utilisateurs.
  • Nos deux mois de recul nous font dire que c’est un succès !

MeilleursAgents Engineering

MeilleursAgents Engineering Teams (Product, Web & Data Teams)

Thanks to Vincent B. and Romain Dierckx

Christopher Parola

Written by

VP Product @MeilleursAgents. Product enthusiastic. Former-CEO of elCurator. Speaker on PM events.

MeilleursAgents Engineering

MeilleursAgents Engineering Teams (Product, Web & Data Teams)

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade