4 astuces d’un diplômé en maths pour manipuler des statistiques
(et bien sûr la 3e va vous surprendre)
Une DRH fait passer des entretiens pour un poste de comptable.
Elle demande au premier candidat combien font 2 et 2. Un peu surpris par la simplicité de la question, ce dernier répond tout naturellement 4.
La DRH invite ensuite un second candidat à entrer. Même question, même réponse.
Puis un troisième candidat arrive. La DRH a à peine terminé sa question que le candidat se lève, ferme soigneusement les rideaux et dit à voix basse :
« Ça dépend, combien voulez-vous que ça fasse ? »Il est embauché sur-le-champ.
En fait dès qu’on utilise un bilan chiffré, il est tentant (et souvent facile) de le tourner à son avantage. Et pour cela pas besoin d’être comptable !
Torturez les chiffres, ils avoueront tout ce que vous voulez
J’en ai fait l’expérience durant mes études.
En seconde année de mon cursus ingénieur, j’ai suivi un cours dit de « création d’entreprises ». Lors de la première séance, on nous a demandé d’imaginer un produit pseudo-innovant qui servirait par la suite de prétexte pour apprendre des rudiments de stratégie d’entreprise. Notre groupe avait décidé de travailler sur des écouteurs dont la particularité était de prendre magiquement la forme des oreilles de son propriétaire, ce qui les rendrait infiniment confortables.
Pour voir si le concept avait du potentiel, nous devions poser des questions à un maximum de gens à l’aide d’un long formulaire diffusé sur Facebook. Je me rappelle que nous avions rédigé ces questions de la manière la moins biaisée possible (nous étions évalués sur leurs intitulés). En revanche l’interprétation des résultats du questionnaire, était hmm… riche en bullshit.
Cela nous mène à l’astuce #1.
Astuce 1 : Ne donnez du sens qu’à ce qui vous arrange
100 % des statistiques validant le concept (des écouteurs qui changent de formes) étaient mises en avant, tout le reste passait à la trappe. Conclusion évidente : « La demande populaire pour ce produit novateur est immense ! » Conclusion sous-entendue : « Les brillants élèves qui ont bossé dessus méritent une note immense… »
Regardons par exemple l’un des résultats du questionnaire :
Nous aurions pu constater que la plupart des gens étaient déjà satisfaits de la forme de leurs écouteurs et que notre produit, s’il sortait un jour, ne serait pertinent que pour une toute petite part du public. Pas terrible comme conclusion n’est-ce pas ?
Voilà le bilan qui figurait à la fin du rapport de notre projet :
« Seul 1 utilisateur sur 3 est totalement satisfait de la forme de ses écouteurs, notre solution est donc parfaite pour tous les autres »
Et c’est la vérité ! Le sondage a effectivement révélé « 30 % de personnes totalement satisfaites ». Pour reprendre la définition développée dans les précédents chapitres, notre bilan final est bien une Tache de Café :
- on a identifié une logique dans des données chiffrées un peu compliquées, mais vraies,
- on a attribué à cette logique une signification plausible, mais fausse.
Je crois que c’est la rédaction de ce rapport qui m’a fait prendre conscience de la facilité avec laquelle on pouvait faire dire — presque — tout et son contraire à un ensemble de données chiffrées.
Toutefois, on peut aller beaucoup plus loin dans la manipulation, voyons comment.
Astuce 2 : Utilisez des moyennes, ça peut servir
La notion de « moyenne », plutôt naturelle à première vue, est parfois mal comprise. Prenons l’exemple d’une entreprise composée d’un PDG (nommé Sébastien) et de ses neuf employés.
Les affaires vont bien et Sébastien souhaite embaucher un nouvel employé. Jacky, un fier travailleur un peu borné, se présente au poste. Sébastien lui explique alors que le salaire moyen dans l’entreprise est de 5 900 € par mois, mais que pour commencer, il devra se contenter de 900 € par mois avant d’être rapidement augmenté. Attiré par le salaire moyen mirobolant, Jacky accepte l’offre.
À son arrivée dans l’entreprise, il découvre qu’aucun de ses 9 collègues ne gagne plus de 1 000 € par mois. Rouge de colère, il va voir le PDG et lui fait part de son indignation :
— Vous m’avez menti ! Les salaires de vos employés ne dépassent pas 1 000 €.
— Je vous ai dit la stricte vérité, répond Sébastien.
Il sort de sa poche son carnet et l’ouvre à la page où figurent tous les salaires :
- PDG : 50 000 €/mois
- Chacun des neuf employés : 1 000 €/mois
Ainsi, l’entreprise paie au total 59 000 € à 10 personnes, soit un salaire moyen de 59 000/10 = 5 900 €. Jacky, dépité, envisage de casser la figure à son patron qui effectivement ne lui avait pas menti : la moyenne était bien de 5 900 €.
La morale c’est qu’une moyenne peut induire en erreur, surtout en cas de valeurs extrêmes. Donc, pensez comme Sébastien : mettez en avant une moyenne quand ça vous arrange.
Avec une main dans le four et l’autre dans le congélateur, vous devriez vous sentir très à l’aise en moyenne.
Astuce 3 : Transformez une baisse en hausse
Fin 2013, Tim Cook est à la tête d’Apple depuis presque deux ans et demi. Les ventes d’iPhone stagnent et arrive le moment de présenter les chiffres un peu décevants aux actionnaires. Le CEO monte sur la grande scène du QG d’Apple et invite l’audience à applaudir devant ce graphe :
« Les ventes cumulées d’iPhone sont en train d’exploser ! »
Certes.
Mais est-ce vraiment l’information la plus pertinente ? Lorsque je m’interroge sur les résultats d’Apple, ce qui m’intéresse, c’est plutôt le nombre d’iPhone vendus chaque année et non pas cumulés avec les années précédentes (sachant qu’un graphe de ventes cumulées a l’immense avantage de ne pas pouvoir être décroissant).
Le magazine spécialisé américain The Verge a réalisé un graphe un peu plus honnête des résultats d’Apple. Et sans surprise, celui-ci raconte une histoire bien différente :
On voit que les colonnes rouges indiquant le nombre de ventes par trimestre ne sont pas en ordre croissant. Un bilan s’impose : entre l’arrivée de Cook aux commandes et fin 2013, les ventes n’ont certainement pas explosé et sont même légèrement en baisse sur la dernière année.
Ce qui est remarquable dans cette présentation, c’est qu’elle ne contient pas de réel mensonge, mais réussit néanmoins à transformer une mauvaise nouvelle en message positif.
Astuce 4 : Tirez des conclusions de peu de données
Je ne vous apprends probablement rien en vous disant que plus vous avez de données sur un sujet, plus vos conclusions ont des chances d’être solides. Et pourtant l’idée inverse — peu de données impliquent des conclusions faibles — a quelque chose de contre-intuitif.
Un fameux psychologue israélien Daniel Kahneman a mis en évidence ce phénomène au cours de sa longue carrière. Dans l’épais, mais passionnant livre qui vulgarise ses travaux, il montre que même des personnes brillantes telles que Bill Gates et son épouse ont pu se faire avoir par ce qu’il a nommé « La loi des petits nombres ».
Via leur fondation philanthropique, Bill et Melinda Gates se sont intéressés au monde de l’éducation. Ils ont financé de nombreuses études pour percer le secret des écoles ayant les taux de réussite les plus élevés. Une des conclusions de ces recherches était que les meilleures écoles sont souvent petites. Ces résultats ont poussé la fondation Gates à investir dans la création de petites écoles voire même à scinder de gros établissements.
Ça peut paraitre logique. Dans une plus petite structure, on peut accorder davantage d’attention à chaque étudiant. Dans un contexte où les grosses écoles américaines subissaient de plus en plus de critiques, cette explication contentait beaucoup de parents d’élèves.
Malheureusement pour eux, si les petites écoles étaient surreprésentées dans les classements des meilleures écoles, elles étaient aussi surreprésentées dans les classements des pires ! Mais comme la Fondation Gates n’avait pas commandé d’étude pour le savoir, elle ne l’a pas su !
Car en réalité les petites écoles ne sont pas meilleures, elles sont seulement plus variables.
Ça devient évident pour les tout petits établissements. Si une école compte un seul élève et qu’il passe ses examens avec succès, alors celle-ci sera propulsée au sommet des classements avec 100 % de réussite. En revanche si l’unique élève échoue, alors l’école dégringole à la dernière place avec 0 %. Il est donc ardu de se prononcer sur la réussite d’une académie comptant peu d’étudiants sachant que la réussite d’un seul d’entre eux a un si grand impact sur le rang final de l’école.
Ainsi plus la quantité de données est faible, plus les résultats sont potentiellement extrêmes. On ne peut alors pas vraiment les considérer comme des faits, car ce sont des observations produites intégralement par un aspect de la méthode de recherche. La vérité plus profonde, c’est qu’il n’y a rien à expliquer.
Il existe des outils qui permettent aux statisticiens de savoir s’ils ont suffisamment de données pour pouvoir en tirer des conclusions. Mais ne vous embêtez pas avec ces préciosités scientifiques : si une statistique soutient votre raisonnement, servez-vous-en.
Le mot de la fin
Quand le mathématicien et rationaliste Nicolas Gauvrit déclare que « la statistique écrase sous son poids scientifique », on ne peut qu’acquiescer. Dites « la malbouffe est plus dangereuse que la cigarette » et on vous regardera bizarrement. Dites « il est prouvé statistiquement que la malbouffe est de 41 % plus dangereuse que la cigarette » et vous susciterez des airs convaincus.
La suite à découvrir dans “L’art délicat du bullshit” 👇
Source
Nicolas Gauvrit — Statistiques, méfiez-vous !
Normand Baillargeon — Petit cours d’autodéfense intellectuelle
Kahneman, Daniel. Système 1 / Système 2: Les deux vitesses de la pensée
Evidence That Smaller Schools Do Not Improve Student Achievement https://www.pdkmembers.org/members_online/publications/Archive/pdf/k0612wai.pdf
https://qz.com/122921/the-chart-tim-cook-doesnt-want-you-to-see/
