Fluidifier une marketplace grâce à l’A/B test de son moteur de recherche
Une recherche performante, une plateforme plus fluide.
Videdressing met en relation des vendeurs et des acheteurs particuliers. Guider ces acheteurs vers les articles qu’ils désirent, c’est aussi satisfaire au plus vite le vendeur. La place de marché sera fluide si les articles s’écoulent le plus rapidement possible : il nous faut donc optimiser les interactions entre les utilisateurs et les articles.
Les visiteurs parcourent un inventaire par la « Recherche » et la « Découverte » : deux concepts complémentaires pour guider l’utilisateur. Notre plateforme propose ainsi différents circuits d’interactions (même si c’est la même brique technique qui répond) :
- Le catalogue : le parcourir, c’est un peu faire du lèche vitrine.
- Les inspirations : le merchandising et les sélections réalisées par nos équipes.
- Le champ de recherche, qui répond aux recherches précises et suggère des recherches associées ou populaires.
- La personnalisation et la recommandation : algorithme qui adapte les résultats en fonctions des utilisateurs.
Réaliser un moteur de recherche performant, c’est comprendre l’intention des utilisateurs. Une « Intention » est définie par plusieurs dimensions, par exemple :
· Est-ce que l’utilisateur a une vague idée de ce qu’il cherche ou connait-il exactement son besoin ?
· À quel point l’utilisateur a besoin de trouver le bon résultat ?
· Combien de temps et d’effort l’utilisateur est-il prêt à investir pour trouver le bon article ?
· À quel point l’utilisateur souhaite maitriser sa recherche via des outils de filtrage et de tri ?
· L’utilisateur est-il prêt à faire des découvertes via des propositions ou souhaite-t-il parcourir tous les résultats un par un ?
· …
Multiplicité des comportements et d‘articles = analyse complexe
Lorsque vous faites les magasins, vous vous retrouvez le plus souvent dans l’une des deux situations suivantes : vous avez une idée très précise de ce que vous recherchez et vous allez droit au but directement vers l’article que vous désirez, ou vous parcourez toute la boutique à la recherche d’une bonne affaire, voire d’un coup de cœur.
Sur une plateforme dédiée à la mode de seconde main comme Videdressing, les utilisateurs peuvent également se retrouver dans l’une ou l’autre situation. On observe en effet que les comportements de recherche d’articles sont extrêmement variés dans un catalogue qui est également particulièrement hétérogène : notre plateforme propose environ 1 million d’articles uniques répartis parmi 10000 marques.
Sur Videdressing, les vendeurs sont libres de vendre n’importe quel article de mode et d’en fixer le prix. Ainsi nous ne faisons aucune curation. Même si nous contrôlons et garantissons l’authenticité des articles, nous ne portons aucun jugement sur l’article mis en vente.
Néanmoins, la plateforme doit assurer que les meilleures affaires ne se retrouvent pas noyées parmi ce vaste catalogue, et ce malgré l’envie de chiner de nombreux utilisateurs. Videdressing ne peut pas être une sorte d’immense friperie, où tous les articles sont mélangés. Comme évoqué plus haut, il en va de la satisfaction de nos utilisateurs (vendeurs et acheteurs), mais aussi de la bonne santé du business.
Algolia comme socle technique
Nous avons fait le choix d’utiliser Algolia pour notre moteur de recherche comme pour notre catalogue, et peu à peu, Algolia deviendra aussi le socle technique pour le merchandising.
En effet, cette solution répondait bien à nos besoins et contraintes :
- Déploiement rapide pour accélérer le time-to-market.
- Équipe nécessaire limitée par rapport à un moteur de recherche classique.
- Concentration des efforts sur l’amélioration des algorithmes et de l’analyse de la data.
- Rapidité des temps de réponse pour les utilisateurs et le SEO.
Il serait intéressant de revenir plus en détail sur les raisons de ce choix (dans un prochain article surement 🙏)
Comme pour d’autres moteurs de recherche, il faut passer par l’optimisation de nombreux critères pour atteindre une expérience complètement fluide :
- La pertinence : remonter les résultats qui correspondent au mieux à la recherche.
- Le ranking : booster les résultats pour proposer les articles qui ont le plus de chance de convertir.
- La personnalisation : adapter les résultats en fonction du profil de l’utilisateur.
- Optimisations au cas par cas (edge-cases) : optimiser les résultats des recherches qui convertissent peu.
Une des particularités d’Algolia est son algorithme de ranking en Tie-breaking**, qui permet de faire des modifications du ranking à la volée lorsqu’il n’est pas nécessaire d’avoir d’informations supplémentaires dans l’index.
Stratégie d’A/B test pour améliorer la fluidité
Pour toutes les raisons évoquées précédemment, nous étions convaincus qu’il fallait améliorer notre moteur de recherche. Cependant, il nous fallait encore trouver les bons KPIs à monitorer pour savoir si nous allions dans la bonne direction. L’envie est parfois grande de surveiller les indicateurs macros comme la conversion (nombre de transactions / nombre de sessions), le panier moyen, ou encore la GMV (volume d’affaires). Néanmoins, nous avons instinctivement préféré nous concentrer sur des indicateurs plus proches des modifications que nous avons réalisées.
Quelques semaines d’expérimentation plus tard, nous avons constaté que c’était en effet une excellente pratique. Il ne faut pas oublier que l’A/B testing est une science ! Sans revenir sur vos cours de statistiques, il faudra néanmoins maitriser quelques notions basiques pour être à l’aise avec les prises de décisions résultantes.
Aussi avons-nous utilisé deux KPIs pour analyser nos tests de mise à jour de nos algorithmes de ranking :
- Le CTR : le pourcentage de recherche avec au moins un clic sur un produit.
- La conversion (de recherche) : le pourcentage de recherche avec au moins un ajout en wishlist ou un ajout au panier.
Si au départ nous A/B testions à partir d’un système maison, Algolia propose désormais un outil* qui permet de centraliser la configuration des A/B tests et de faciliter la visualisation des résultats (webinar sur le sujet : « How Videdressing optimized their search with A/B testing » )
C’est ainsi que nous testons en permanence de nouvelles combinatoires de paramètres dans l’algorithme de Tie-Breaking, en ajoutant des nouveaux paramètres basés sur nos analyses et en modifiant l’ordre de ces paramètres.
Nous avons remarqué qu’un test devait durer au moins une semaine pour que le trafic envoyé soit suffisamment représentatif (paramètre très important à connaitre pour pouvoir tirer des conclusions du pourcentage de confiance). Ainsi, nous enregistrons les conclusions et les résultats de chaque A/B Test. Les idées ne manquent pas ! Nous avons déjà en tête ce que nous souhaitons tester pour les mois à venir.
Nous avons néanmoins constaté que l’analyse des performances de la personnalisation des résultats par l’A/B testing est une tâche complexe. On peut commencer par comparer la conversion des utilisateurs à qui l’on présente ou non des résultats personnalisés. En revanche, les utilisateurs ayant personnalisé volontairement leur expérience sont certainement les plus engagés. Il est ainsi impossible de tirer de réelles conclusions. Ici nous avons dû créer nous même un système d’A/B testing à partir de « custom-dimensions » dans Google-Analytics. Et nous présumons qu’une analyse trop détaillée pourrait se conclure par des décisions impossibles si les volumes ne sont pas suffisants pour atteindre des résultats statistiquement significatifs.
L’amélioration continue de notre moteur de recherche est un projet essentiel pour améliorer la fluidité de notre marketplace. Nous réalisons de manière continue des A/B tests afin de valider les choix stratégiques pris sur les changements effectués dans le moteur. Il faudra surement revenir sur les choix pris dans le passé, les tester à nouveau et ne pas perdre en tête la problématique (statistique encore) du maximum local qui pourrait nous inciter plus tard à tester des changements beaucoup plus radicaux, à l’opposé de la méthode très itérative adoptée jusqu’à présent.
Une remarque ? Un avis ? N’hésitez pas à échanger avec nous !
