Comment le Franglais a tué mes analyses de données chez LiveMentor
Je suis Ingénieur Pédagogique chez LiveMentor, ce qui me donne la chance de travailler à la fois sur notre pédagogie, et sur nos analyses — aka la donnée chez LiveMentor.
Chez LiveMentor, on ne fait pas de Big Data, cela tombe bien, car je ne suis ni ingénieur, ni statisticien de formation. On n’a pas besoin de data mining et autres machine learning. Ce dont on a besoin, c’est d’utiliser des données pour comprendre l’impact de nos actions au quotidien.
Chaque chiffre a pour but de nous permettre d’accompagner chaque jour davantage d’élèves, en faisant un peu mieux que la veille. Pour nos élèves, cela signifie la réussite dans leurs projets, que ce soit lancer un site de e-commerce à destination des papas, devenir guide de safari haut de gamme en Afrique du sud ou développer ses ventes de saucissons sur les marchés.
Bref, nous ne sommes pas Google, mais nous essayons de rationaliser notre travail, de nous doter d’une culture qui nous permette de capitaliser sur ce que l’on fait au quotidien en mesurant notre performance, en consignant les résultats de nos tests, en concentrant nos forces sur les chantiers prioritaires.
Mon travail ne ressemble donc pas à ça :
Se laisser griser par la technique
Rédiger des requêtes SQL, construire des tableaux de bord automatisés, calculer des indicateurs de performance, je m’y suis mis avec un peu de logique, de l’arithmétique de base, quelques leçons de collègues inspirés et beaucoup de recherches Google.
Il y a quelque chose de grisant dans la résolution d’un défi technique, analytique grâce à la domestication d’un nouvel outil. Au risque de se concentrer plus sur la mécanique du calcul que sur l’interprétation du résultat.
Lorsque l’on vient d’une formation plus réputée pour faire apprendre la liste des présidents du conseil de la 3e République que les décimales de Pi, se faire surnommer Le Chiffre pour mon arrivée chez LiveMentor est un retournement de situation plutôt inattendu.
Je commence donc très rapidement à produire plein de données, m’imprégnant de tout ce qui avait pu être fait dans le passé. J’ai vraiment l’impression d’avoir fait le plus dur : je sors des chiffres.
On produit alors de nombreux indicateurs, et parmi eux l’un des plus précieux dans notre modèle freemium, le taux de conversion, le passage d’un cours gratuit à une formation payante.
Les tableaux sont là, les chiffres sont là, les calculs sont exacts, et pourtant nous sentons que quelque chose ne va pas.
A force de regarder de près nos indicateurs, nous ne nous étions pas rendus compte qu’ils étaient vérolés. La faute à une définition de base que l’on avait oubliée : celle du lead. Dans notre monde, deux droites parallèles pouvaient se croiser — un lead pouvait se dupliquer s’il suivait plusieurs cours gratuits.
Nous avions transformé le concept pour le faire rentrer dans notre quotidien marketing. Un lead corrrespondait à une inscription à un cours gratuit, et non plus à une personne, qui ne change pas d’identité à chaque fois qu’elle s’instruit sur une nouvelle thématique.
Cette simple erreur de définition faussait nos indicateurs commerciaux clés comme le taux de conversion, le revenu par lead, le temps de conversion moyen.
Le casse-tête de l’interprétation
Si vous aimez les casse-têtes, en voici un qui occupait inutilement nos esprits et brouillait nos indicateurs. Sinon, vous pouvez directement profiter de la prochaine illustration.
Prenons un élève qui découvre LiveMentor à l’occasion d’une première formation gratuite en janvier, en suit une seconde en février, et se décide finalement en avril à acheter une formation avancée. Il est donc comptabilisé comme un lead en janvier, et un autre lead en février. Il avait converti un mois où il n’était plus un lead. Nous attribuions la conversion, ayant eu lieu deux mois plus tard, à l’une des formations gratuites qu’il avait suivies.
Pourtant, rien ne nous dit que c’est la deuxième formation gratuite, et pas la première, ou tout autre chose, qui a décidé ce lead d’acheter une formation avancée. En attribuant la conversion à sa formation de février, le lead n’était pas comptabilisé comme converti dans la performance de janvier. Le comptabiliser comme élève converti en janvier & février aurait été encore pire, car nous aurions pris en compte le chiffre d’affaire deux fois.
De quoi se faire des noeuds au cerveau… Alors qu’il suffisait de réfléchir ainsi : Cet élève s’est inscrit au mois de janvier sur notre site. C’est un lead du mois de janvier, et ça le restera, peu importe les formations gratuites qu’il suivra. Le taux de conversion du mois de janvier est donc le rapport du nombre d’élèves s’étant inscrits pour la première fois chez LiveMentor en janvier et ayant ensuite acheté une formation, sur le nombre total d’élèves s’étant inscrit ce mois-ci. Point.
Sur le fond, on faisait l’erreur de trop découper l’expérience de l’élève en petits tunnels de vente indépendants et de raisonner à cette échelle. Seule une vue de son parcours entier permet de comprendre sa décision d’achat.
Le ver était dans nos interprétations, pas dans la mécanique de nos calculs. Nos indicateurs représentaient autant la réalité que ce village représente celui où j’ai grandi :
Comment en arrive-t-on là ?
#1 La bonne vieille habitude
On a toujours fait comme ça. Chaque répétition d’une contre-vérité augmente notre confiance dans une information. C’est d’ailleurs l’un des principes de la propagande. Nul besoin de partir de la vérité pour faire croire à une idée, il suffit de la répéter suffisamment souvent, de sources différentes, pour que l’on en vienne à l’adopter. Du bon côté, c’est la méthode Coué, du mauvais, c’est le président Donald Trump qui s’affranchit totalement des faits dans ses discours. L’habitude nous a fait sincèrement croire en notre définition fausse.
#2 La non-remise en cause
On cherche à aller vite, à être productif, à aller de l’avant — à avoir de l’impact. C’est pour celà que l’on aime travailler pour des projets innovants. Réinventer la roue en réfléchissant à des définitions de base le permet rarement. On a alors tôt fait d’oublier les bons réflexes.
#3 L’héritage
On hérite souvent d’un bagage existant, laissé sans mode d’emploi. On connaît l’état des lieux, mais remonter à travers l’histoire pour s’assurer que les fondations sont solides relève souvent d’un vrai jeu de piste. Personne n’a envie de détricoter ce sur quoi est basé tout son travail. Pourtant, rien ne dit que la définition a pu être écrite posément. En réalité, cela arrive souvent à la va-vite, au tout début de la vie de l’entreprise, où d’autres enjeux semblaient bien plus importants.
#4 Le Franglais
Ma raison préférée. En entreprise, on parle Franglais. C’est indispensable. Il faut dire qu’il rend tout plus cool. Le coup de téléphone est tellement ringard à côté de son homologue le call, la comparaison si banale par rapport au benchmark, se concentrer si scolaire quand on peut se focus. Après quelques mois, les séquelles se manifestent : on n’est pas confortable avec une idée, on fixe des problèmes… Mais passons sur le ridicule.
La source du problème c’est que personne n’a jamais suivi un cours de Franglais. Ce mutant entre dans une vie à l’occasion d’un début de carrière, d’une nouvelle expérience professionnelle… des contextes dans lesquels demander la signification d’un mot utilisé au quotidien n’est pas naturel. La nature ayant horreur du vide, chacun colle à ces termes alors les définitions qui lui semblent justes.
Le résultat : personne ne parle de la même chose lorsqu’il prononce le mot Lead.
Comment on s’en sort ?
Pour éviter de répéter l’erreur que nous avons commise avec la définition d’un lead, nous avons commencé un glossaire, qui rassemble toutes les définitions importantes liées à nos indicateurs, accessibles à chacun.
On se force à remettre en cause nos outils de manière régulière, juste de quoi nous assurer que les bases sur lesquelles nous travaillons au quotidien sont toujours valides.
On prend le temps avant de commencer une analyse, d’écrire pourquoi on la fait, et pourquoi on va regarder tel ou tel chiffre, pour s’assurer qu’on les comprend bien.
On essaie de faire une cure de détox de Franglais — mais ça c’est aussi et surtout pour continuer à communiquer avec le reste de notre entourage.
Pas encore de quoi faire l’actualité avec des méthodes analytiques révolutionnaires mais un vrai shot, pardon, une bonne dose de bon sens.
Avec quelques bons réflexes, nous développons une culture qui nous permet de peaufiner notre école. Nous sommes vaccinés contre certaines erreurs. Nous savons qu’une analyse chiffrée, ce n’est pas tant un défi mathématique et technique. Ça reste avant tout une histoire de sens, d’interprétation, d’intelligibilité.
