A/B Testing : les clés pour se lancer !

Démarrer une démarche AB Testing, ce n’est pas simple. Et une fois lancé, on se rend compte que le plus dur, c’est de garder la cadence. Alors, comment vous lancer et tenir le rythme ? On vous dit tout.

C’est quoi un test AB ?

Pour commencer, reprenons la définition d’un test A/B :

Un test A/B permet de comparer plusieurs variantes d’un produit (page web / application) afin d’identifier la plus performante. Ces variations sont présentées de manières aléatoires aux utilisateurs.

La pratique de l’A/B Testing peut se décliner à travers deux méthodes : le test A/B et le test multivarié. Il est essentiel de bien saisir les nuances :

• Le test A/B : ce test présente aux internautes deux variations de vos pages sur une même URL. Si vous présentez plus de deux variations, on parlera alors de test A/B/C/D/…
• Le test multivarié : ce test permet de mesurer l’impact de plusieurs changements sur une page web. Vous pouvez par exemple décliner un visuel et un bouton d’action : le test identifiera pour vous la combinaison la plus performante !

Et donc, pourquoi AB tester ?

La motivation première, c’est d’optimiser le taux de conversion de certains éléments clés de son site ou de son application (on parlera parfois de CRO “Conversion Rate Optimization”).

Les tests AB permettent d’éliminer tous les éléments externes, et donc de mesurer le vrai gain lié au changement. Si comme moi, vous avez déjà entendu dire “Oui, les conversions ont légèrement baissé suite à la refonte, mais il a fait vraiment beau ce week-end, donc on peut difficilement comparer…”, vous voyez exactement le cas de figure que l’on souhaite éliminer !

Au-delà de ça, les tests A/B vous permettront de prendre des décisions rationnelles, et de laisser de côté le feeling. Cela permet de facilement arbitrer entre différentes options, et donc d’avoir à disposition un super outil de décision, totalement objectif.

C’est décidé, je me lance !

Quelles sont les compétences à mobiliser ?

Vous allez déjà devoir vous assurer de posséder les compétences nécessaires. Se lancer dans une démarche d’A/B testing, ça demande les compétences croisées d’un UX Designer, pour vous permettre d’effectuer des propositions d’optimisations pertinentes, et d’un Data Analyst, pour estimer le potentiel des tests, et surtout pouvoir les analyser en retour.

Quels outils pour faciliter la démarche ?

De nombreuses solutions sont disponibles sur le marché. Je retiens pour ma part les solutions suivantes :

• Google Optimize : vous retrouverez en premier niveau ce qu’il faut pour vous lancer gratuitement. En progressant, vous aurez besoin de débloquer des fonctionnalités payantes.
• AB Tasty et Kameleoon : ces solutions s’adressent plutôt aux grands comptes. Ce sont de supers solutions packagées, capables de gérer AB testing et Personnalisation. Avec eux, vous bénéficiez d’un lien direct avec l’éditeur, qui vous assure un support efficace.

Une méthode pas-à-pas

Vous êtes équipé, prêt à démarrer : vous pouvez maintenant lancer votre premier test ! Je vous propose de suivre ces quelques étapes pour structurer votre démarche.

1. Analyse

Cette première phase vous permettra de trouver où et quoi tester :

• En consultant des sources de données quantitatives (données de navigation, historique des commandes, …), vous allez vite comprendre les pages à fort potentiel. C’est le où.
• En utilisant des méthodes qualitatives (test utilisateurs, retours des conseillers clientèles ou commerciaux), vous allez ensuite définir l’élément à tester sur votre page clé. C’est le quoi.

2. Hypothèse

Suite à l’analyse de vos données, vous avez à présent tous les éléments en votre possession pour identifier un test à fort potentiel. Vous allez pouvoir formuler une hypothèse. Rédigez-là sous la forme :

Si je modifie [variable], alors je dois obtenir [résultat] parce que [raisonnement].

• La variable doit représenter l’élément que vous souhaitez modifier, et le résultat le gain espéré en modifiant cette variable. Normalement, vous avez déduit ces données de la première phase d’analyse.
• Le raisonnement repose quant à lui sur votre expertise métier. C’est là que vous mobiliserez vos compétences en UX Design, et votre connaissance pointue de votre produit.

3. Mise en place

Lors de la mise en place de votre test, vous allez prendre en compte 3 variables pour imaginer comment le mettre en oeuvre :

• Contenu : il s’agit de ce que vous dites. A ce niveau, vous agissez sur les libellés ou textes.
• Design : il s’agit de ce à quoi ça ressemble. Vous allez ici jouer sur l‘esthétique des éléments. Vous pouvez par exemple essayer d’autres couleurs pour un bouton d’action donné.
• Ergonomie / implémentation : il s’agit de la manière dont une fonctionnalité est implémentée. La marge de manoeuvre est ici plus grande. Vous allez complètement revoir la manière dont est présentée une fonctionnalité.

Un bon test, c’est souvent un mélange des 3 ! Alors n’hésitez pas à tester des hypothèses fortes pour obtenir des résultats.

💡 Astuce : La plupart des outils d’AB testing proposent une fonctionnalité “preview”. Utilisez-là pour tester vos variantes auprès quelques utilisateurs avant de lancer votre test.

4. Résultats

Vous avez lancé votre test, il est en cours : avant d’analyser les résultats, il va d’abord falloir savoir quand l’arrêter !

La taille de l’échantillon (le nombre de visiteurs exposés à votre test) est clé pour pouvoir atteindre un niveau de confiance suffisant sur les résultats. On parlera de significativité. Un test significatif à 95% signifie qu’il y a 5% de chances que le résultat soit dû au hasard. Plus vous augmentez la taille de l’échantillon, plus votre test sera significatif ! Généralement, on part du principe qu’il faut à minima quelques milliers de visiteurs sur un test.

Mais la taille de l’échantillon n’est toutefois pas un critère suffisant pour arrêter votre test. Vous devez aussi prendre en compte :

• Un nombre de conversions minimum : à travers votre hypothèse, vous suivez un indicateur de conversion. Ce nombre de conversion doit être suffisant (quelques centaines minimum).
• La durée du test : votre test doit prendre en compte votre cycle produit. On conseille généralement une durée minimum de 2 semaines.

Ça y est ? Vous avez arrêté votre test ? Place au verdict :

• 😄 Test positif : bravo, vous pouvez généraliser la variation gagnante !
• 🤔 Test neutre : malheureusement, aucun enseignement ne ressort de votre test. Vous pouvez déjà travailler à une nouvelle proposition.
• 😦 Test négatif : il va falloir comprendre pourquoi ça n’a pas marché et identifier le point de votre raisonnement qui a été mis en échec à travers ce résultat.

Passé le premier test AB…

Vous avez lancé votre premier test. Super ! Mais vous n’êtes qu’au tout début du tunnel. Il va encore falloir structurer la démarche dans vos équipes pour pouvoir tenir la cadence dans le temps, et mettre en place une vraie démarche d’amélioration continue.

L’apprentissage de l’A/B Testing

Courbe d’apprentissage de l’A/B Testing (nombre de tests lancés dans le temps)

Après votre premier test, vous allez vous rendre compte qu’il est très simple de lancer un test AB. Très vite, vous allez lancer pleins d’autres tests (un peu trop) simples…et vous rendre compte que vous avez peu de résultats positifs. Si cela peut vous décourager, ces tests sont avant tout une super opportunité pour progresser dans votre pratique de l’AB Testing. Ils vous permettront de :

• Mieux estimer la charge associée à la mise en place d’un test
• Mieux évaluer le potentiel de chaque test
• Gagner en efficacité sur l’analyse des résultats

Au début, n’hésitez donc pas à vous fixer des objectifs de quantité, plus que de qualité, afin de gagner en efficacité. Naturellement, les tests de qualité viendront ensuite en étant plus regardant sur les phases d’analyse et de formulation de l’hypothèse. Une fois la dynamique lancée, vous progresserez en continue sur la pratique.

L’importance de tenir une roadmap

Ensuite, il va falloir structurer votre roadmap de tests AB. L’idée, c’est que vous ayez toujours sous le coude un test à lancer quand il y en a un en cours.

Cette roadmap, il faudra la prioriser. Et pour cela, utilisez les indicateurs “PIF”. Ils vous permettront de remettre en haut de liste les tests rapides à mettre en place et porteurs de valeur pour votre business.

• Potentiel : quelle marge de progression ai-je sur cette page ?
• Importance : à quel point cette page m’apporte du trafic ?
• Facilité : ce test est-il facile à mettre en place ?

Motiver les équipes dans la durée

La roadmap en place, reste à garder les équipes motivées dans la durée. Pour ce faire, vous pouvez gamifiez votre pratique de l’A/B Testing !

• 🏆 “Le plus beau gain du mois”: chaque mois, célébrez le test qui a le mieux fonctionné dans l’équipe. C’est l’occasion de diffuser les pratiques qui fonctionnent très bien.
• 🕵️‍♂️ “Le champion de la prédiction”: à chaque test, chaque membre de l’équipe prédit le résultat du test. On maintient un classement au fur et à mesure et on célèbre régulièrement le “champion de la prédiction”. Cela vous permet de prendre du recul avant de lancer un test : si toute l’équipe voit le test se planter, vous pouvez toujours revoir votre copie !

En résumé

Vous l’avez compris, l’A/B testing est une pratique clé pour améliorer votre produit digital. En structurant votre démarche, vous maximiserez vos chances d’obtenir de bons résultats. Mais le plus dur, finalement, ce sera d’être efficient dans la durée. Charge à vous donc d’animer vos équipes pour tenir la cadence.

Voilà, vous savez (presque) tout. À vous de jouer ! 🚀

Cet article vous a plu ?

Chez Bewizyu, agence digitale basée à Lyon et Nantes, on est spécialisés dans la création d’interfaces digitales sur mesure. Rejoignez-nous sur LinkedIn ou sur Medium !