Recruter grâce aux données : comment battre le marché RH

Ce post est une traduction de l’article d’Erik Bernhardsson “How to hire smarter than the market: a toy model” consultable ici. Les références à la première personne en ont été supprimées.

Avez-vous déjà fait face au dilemme de considérer les critères à privilégier pour un recrutement ? Avez-vous déjà été déçu(e) d’avoir sur-payé un profil dont le CV semblait parfait ? Cet article va vous donner une approche intéressante pour améliorer votre méthodologie de recrutement dans une approche Data Driven Recruiting.

Considérons un modèle de recrutement où vous embauchez pour deux qualités et que celles-ci ont la même valeur à vos yeux. Appelons-les simplement “qualité A” et “qualité B” pour l’instant. Pour un ensemble de qualités, le diagramme de dispersion ressemble à ceci :

L’hypothèse ici est que A et B sont tirés d’une fonction gaussienne avec une légère corrélation positive. Le diagramme de dispersion montre la distribution de A par rapport à B, et les deux histogrammes (en haut et à droite) montrent la distribution sur A et sur B.

Nous allons embaucher et recevons une pile de CV : essayons de décider qui va passer à l’étape suivante. Les meilleurs candidats sont ceux qui sont excellents en A et en B, et nous allons évidemment les faire venir. Cependant, certains candidats vont être bons en A mais pas en B, ou vice versa. Vous pourriez donc choisir d’évaluer les candidats en fonction d’une combinaison des deux. Par exemple, faites venir des personnes pour lesquelles A+B>k où k est une constante.

Nous pouvons déjà voir quelque chose d’intéressant ici : les candidats que nous retenons présentent une corrélation négative entre la qualité A et la qualité B, bien que ces qualités soient indépendantes. C’est ce qu’on appelle le paradoxe de Berkson.

Par exemple, Google a découvert que la performance aux concours de programmation était négativement corrélée à la réussite professionnelle réelle dans leurs recrutements. C’est comme si on nommait l’axe des x du graphique ci-dessus “ performance à l’entretien“ et l’axe des y comme “ succès aux concours de programmation “. Le problème n’est pas que le succès aux concours de programmation est en quelque sorte mauvais : il pourrait avoir une corrélation fortement positive avec le rendement professionnel futur. Le problème est que Google a probablement surpondéré le succès des concours de programmation dans son processus d’embauche par rapport à d’autres éléments qui permettraient de prédire avec plus de précision le rendement professionnel futur. Cela a entraîné une corrélation négative “artificielle” entre ces deux qualités au sein du groupe qui a été embauché.

Un article intéressant prétend qu’il existe une corrélation négative entre le rendement des ventes et le rendement managérial pour les vendeurs promus au poste de gestionnaire. La conclusion est que “ les entreprises accordent la priorité au rendement des ventes actuel dans les décisions de promotion au détriment d’autres caractéristiques observables qui permettent de mieux prédire le rendement des gestionnaires “. Bien que ce document ne porte pas sur l’embauche, il s’agit ici exactement de la même théorie : l’axe des x serait quelque chose comme “ la capacité de gestion future prévue “ et l’axe des y “ le rendement des ventes “.

Il y a pire : les forces du marché

Parce que vous embauchez dans un marché où il y a beaucoup d’autres joueurs, les très bons candidats peuvent simplement avoir tellement d’options qu’ils vont aller dans n’importe quelle entreprise et gagner des millions de dollars. Disons que A et B ont la même valeur pour vous, ainsi que pour le marché. On se retrouve avec un graphique de ce type :

Regardez le segment vert ici : maintenant, il y a une corrélation négative encore plus forte entre A et B.

Recruter, c’est comme acheter une maison

Cette corrélation négative est intuitivement plus claire dans le contexte de l’achat d’une maison. Vous pouvez évaluer une salle de bain supplémentaire à +50 000 € , et une chambre supplémentaire à +100 000 €, mais le marché aussi. Par conséquent, compte tenu de votre budget, vous constaterez une corrélation négative entre le fait d’avoir une salle de bain et une chambre à coucher supplémentaires, parce que le marché vous empêche d’avoir les deux.

Mais cela présente aussi une opportunité. Les compromis vous obligent à vous concentrer sur les choses auxquelles vous accordez plus d’importance que le marché. Vous ne pensez peut-être pas qu’une chambre au 4e étage est une pénalité de plus de -10 000 € pour vous, mais le marché l’évalue à -20 000 €: alors, en fait, vous devriez peaufiner et cibler exactement ces appartements. Comme nous le verrons avec le recrutement, l’astuce pour déterminer votre propre préférence par rapport au marché. Examinons quelques cas.

Quelques études de cas

Un biais humain courant consiste à interpréter la confiance comme un signe de compétence, et comme une approximation de premier ordre, disons que les prix du marché sont tous deux égaux. Mais supposons que nous décidions de ne pas succomber au même biais que le marché dans son ensemble. Nous concluons que le marché surestime la confiance et que nous allons faire tout notre possible pour éliminer ce biais de notre processus d’entretien. Bien que la compétence ne soit pas facile à observer, disons que nous pouvons nous en approcher de très près en ayant un processus d’entretien bien pensé. Le tableau qui en résulte est quelque chose comme ceci :

Notre limite sera une ligne verticale, car nous ne nous soucions que de la compétence, pas de la confiance. La “limite du marché” sera la ligne diagonale. Les personnes que nous finirons par considérer seront le triangle vert.

Le résultat nous semble étrange : le groupe de personnes que nous considérons comme étant les meilleurs candidats ont en moyenne une faible confiance.

Démontrer une corrélation négative entre la confiance et la compétence

Le même phénomène se produit dans des situations plus complexes. Disons que toute chose égale par ailleurs, il vaut mieux embaucher quelqu’un d’une bonne école, mais que le marché le surévalue. En revanche, disons que nous valorisons la compétence générale un peu plus que le marché. Le seuil du marché sera une ligne à 45 degrés, mais notre seuil sera une ligne avec un angle différent. Nous nous retrouvons avec quelque chose comme ça :

La conclusion est similaire : nous constatons en fait que les candidats qui nous intéressent sont allés dans une école moins huppée que la moyenne.

De façon plus générale, la conclusion à tirer lorsqu’on embauche dans un marché concurrentiel est que même si l’on pense qu’une certaine qualité est souhaitable, si l’on croit que le marché surestime cette qualité, il faut regarder de l’autre côté du spectre. Cela nous ramène à notre exemple sur l’achat d’une maison.

Construire un modèle pour trouver les meilleurs candidats

Jusqu’à présent, le modèle est facile à comprendre et nous aide à explorer quelques compromis lors de l’embauche, mais il est insuffisant. Créons un modèle un peu plus complexe qui est un peu moins intuitif, mais un peu plus réaliste et qui peut trouver son application dans une équipe data science ou big data d’un département RH. Cette section est plus mathématique que le reste de l’article, n’hésitez pas à passer à la conclusion.

Ce que nous voulons vraiment optimiser, c’est notre valeur estimée divisée par la valeur du marché puisque le marché détermine le salaire. Hypothèses :

La valeur du candidat pour l’entreprise est :

où (αc,βc)(αc,βc) est un vecteur dont nous choisissons les paramètres.

La valeur de marché (c’est-à-dire le salaire) est :

où (αm,βm) est un vecteur avec des paramètres que le marché valorise

La quantité que nous essayons d’optimiser est

où k est une constante qui représente une combinaison de ces deux facteurs :

- Nous ne voulons pas simplement prendre le prix du marché pour les candidats : nous leur payons un salaire de base équitable qui augmente en fonction de la demande du marché.
- Le coût de l’embauche, de l’onboarding et de la formation.

Tout au long des prochaines parcelles, fixons le “ vecteur du marché “ pour chacun d’entre eux à (αm,βm)=(1,1), c’est-à-dire que le marché valorise les deux choses de façon égale. Nous faisons alors varier l’importance que nous leur accordons pour étudier le modèle.

Tout d’abord, disons que nous accordons une valeur égale à A et B, mais que nous nous en préoccupons un peu moins que le marché. Nous répartissons les candidats en trois groupes différents en fonction de la valeur
z=vc/(vm+k). Si nous traçons ce graphique, nous voyons la même corrélation négative (la zone bleue) :

Si nous décidons de surenchérir sur le marché, nous pouvons choisir (αc,βc)=(2,2).

Si nous décidons que nous ne nous soucions pas de la quantité B, mais le marché le fait quand même, le résultat est plus intéressant. Cela correspondrait au cas précédentcompétence-confiance où l’axe x est la compétence et l’axe y la confiance. Le marché valorise les deux, mais nous sommes plus intelligents et nous ne valorisons que la première. Nous fixons : (αc,βc)=(1,0)(αc,βc)=(1,0)

Comme nous l’avons vu précédemment, nous constatons que si nous nous attaquons aux “ meilleurs “ (en termes de quantité z=vc/(vm+k)), alors on finit par embaucher les gens qui ont moins que la moyenne de confiance. C’est parce que le marché sous-estime systématiquement le prix de ces personnes.

Dans l’autre cas, lorsque nous pensons que les éléments A et B sont tous deux positifs, mais que nous pensons que le marché surévalue l’élément B, nous pouvons fixer (αc,βc)=(1,0.5). Cela correspondrait à l’exemple où A est la réputation de l’école qu’ils ont fréquentée.

Le résultat est quelque peu similaire. Même si nous préférons les candidats provenant d’écoles dans le top réputationnel, nous finissons quand même par faire mieux en embauchant des personnes provenant d’écoles “ moyennes “. Encore une fois, c’est parce que le marché les sous-estime systématiquement. Le fait que nous considérions B comme une “ bonne” quantité est moins pertinent que le fait que nous le considérons comme moins précieux que le marché.

Un cas différent serait celui d’une entreprise qui ne s’intéresse qu’à une mesure superficielle au détriment de choses plus importantes. Par exemple, disons que l’axe des x est “ l’expérience pertinente à la tâche” et l’axe des y est “ le caractère réputationnel de leur diplôme”. Cette situation n’est pas si artificielle : certains recruteurs de grandes entreprises ont pour mandat de n’embaucher que des titulaires de doctorat, mais où le processus d’entretien est peu rigoureux. Nous avons donc : (αc,βc)=(0,1).

L’observation intéressante est l’histogramme du haut : la distribution bleue des candidats embauchés finit par avoir une expérience pertinente à la tâche beaucoup plus faible que celle des candidats rejetés…

Il y a cependant une particularité à cela. Disons que nous continuons à ignorer la caractéristique A (expérience pertinente à la tâche), mais que nous jetons tout notre argent dans les enchères en nous basant sur la caractéristique B (réputation de leur diplôme) :

Parce qu’il y a une petite corrélation entre A et B, nous nous retrouvons en fait à ce stade-ci avec des compétences supérieures à la moyenne en ce qui concerne A : nous allons devoir dépenser plus que les autres pour obtenir les candidats. Il serait beaucoup plus économique de payer une prime moyenne pour A et une petite prime pour B, plutôt qu’une énorme prime pour B, mais aucune pour A.

Conclusions et perspectives

Si vous demandez au recruteur moyen comment il trouve les candidats en développement informatique, machine learning ou autre, c’est généralement en tapant un type de recherche booléenne sur LinkedIn, et quand vous lui demandez comment il note les CV, c’est généralement une combinaison de diplômes en informatique d’écoles prestigieuses, d’expérience exacte avec la stack technique de l’entreprise (jusqu’aux frameworks), etc. Aucune chance si quelqu’un a un vide sur son CV, ou s’il a besoin d’un visa de travail.

Ce que le modèle ici développé implique, c’est qu’il y a une “opportunité d’arbitrage” . C’est le côté positif du fait que le marché est biaisé. Les entreprises accordent-elles systématiquement une prime à une qualité de candidat ? Alors pariez contre elles ! Attaquez-vous aux outsiders. Si chaque responsable de l’embauche agit dans son propre intérêt rationnel (ce qui n’est malheureusement pas le cas), ces préjugés disparaîtront avec le temps et le marché convergera vers l’efficacité.

Voici quelques réflexions sur des choses qui peuvent être sous-évaluées par le marché :

• Les candidats des écoles non réputées
• Les candidats qui n’ont pas du tout fréquenté l’école et qui sont autodidactes, ou qui ont un cheminement non traditionnel dans le domaine
• Les candidats qui n’ont pas obtenu un diplôme dans votre domaine recherché
• Les candidats qui n’ont jamais travaillé dans une entreprise connue
• Les candidats qui ont peu confiance en eux ou qui ont un “ mauvais entretien “.
• Les candidats qui pourraient être victimes de discrimination pour d’autres raisons, comme le fait d’appartenir à un groupe sous-représenté ou de ne pas correspondre à un stéréotype de ce à quoi un ils devraient ressembler
• Les candidats qui ont besoin d’un visa
• Les candidats qui n’ont pas d’expérience avec votre organisation, mais une base généraliste solide (ceci est particulièrement répandu dans les industries complexes),
• Les candidats qui ont quitté le marché du travail pendant un certain temps pour s’occuper de leur famille

Bien évidemment, recruter des candidats selon leur université est pertinent dans la plupart des cas. Ce que montre cet article, c’est que si vous embauchez, vous aurez plus de succès en recherchant des candidats que le marché sous-évalue. Et cela ne s’applique pas seulement aux choses mesurables (quelle école ils ont fréquentée), mais aussi aux choses que les gens valorisent inconsciemment (par exemple, la confiance d’un candidat). D’autre part, surévaluer des choses (qui sont moins prédictives du rendement professionnel futur) peut vous amener à embaucher de moins bons candidats.

Dans tous ces cas, il s’avère que votre préférence par rapport à celle du marché compte plus que votre préférence en soi.