Comment fonctionne l’algorithme de recommandation du pass Culture ?

Le pass Culture poursuit un double objectif de mission de service publique à l’égard des jeunes de 18 ans :

• l’accroissement de leurs pratiques culturelles,
• ainsi que la diversification de ces pratiques.

Le but est donc de proposer aux jeunes des offres pertinentes, à la fois au regard de leurs goûts culturels existants, mais également de les inciter à faire des “pas de côté” pour qu’ils découvrent d’autres champs culturels et élargissent leurs pratiques.
Au pass Culture, nous ne souhaitons donc pas construire un algorithme de recommandation classique (à la Netflix ou Youtube) afin de ne pas enfermer nos utilisateurs dans une bulle de recommandations, mais au contraire construire un algorithme proposant des offres culturelles pertinentes et diversifiées !

Comment construire un tel algorithme ?
La démarche de construction de cet algorithme est itérative, afin de mettre rapidement en production de premiers algorithmes, qui servent de point de départ à notre équipe de data scientists, et qui sera amélioré en continu, au regard notamment des retours des utilisateurs et des comportements constatés.

Cet algorithme prend visuellement la forme d’une sélection sur la page d’accueil de chaque utilisateur.

Exemple de sélections sur la page d’accueil

Visibilité du module de recommandation

Il existe 3 typologies d’utilisateurs, tous ne sont pas exposés à l’algorithme de recommandation :

• Utilisateurs Connectés Bénéficiaires : → ce sont les jeunes de 18 ans, la cible de l’algorithme de recommandation ✅
• Utilisateurs Connectés Non bénéficiaires → Ce sont ceux qui se créent un compte sans crédit. Ils remplissent le questionnaire des pratiques initiales et ont donc accès au cold start (explicité plus bas). Ils ne sont par contre pas exposés à l’algorithme de recommandations puisqu’ils n’effectuent pas de réservations ➖
• Utilisateurs non connectés → Ce sont ceux qui téléchargement l’app sur les stores sans création de compte. Ces utilisateurs là ne sont pas exposés à l’algorithme de recommandation, puisqu’ils ne remplissent pas de questionnaire des pratiques culturelles initiales, ne peuvent pas mettre d’offres en favori et ne peuvent pas les réserver.❌

Fonctionnement du module de recommandation

• Rafraichissement des offres : l’algorithme présélectionne une cinquantaine d’offres et 10 offres sont affichées à chaque connexion. Cela permet de voir des offres différentes à chaque connexion.
• Géolocalisation et types d’offres : L’utilisateur voit un module de recommandation comprenant 10 offres qui sont numériques, nationales ou à moins de 100km de lui s’il est géolocalisé.
• Retrait des offres déjà réservées par l’utilisateur : lorsque l’utilisateur réserve une offre du module de recommandation, celle-ci sera retirée du module dès le lendemain.
• Collaborative filtering : L’algorithme apprend à déterminer les offres ayant le plus de chances de plaire à un utilisateur en considérant les réservations réalisées par l’ensemble des utilisateurs. Il attribue un score de compatibilité entre les offres du catalogue et un utilisateur donné. Ainsi, plus le score d’une offre est élevé pour un utilisateur donné, plus l’offre a de chance d’être recommandée à cet utilisateur.

Spécificité pour les utilisateurs ayant effectué moins de 2 réservations sur le pass : le cold start

Lors de la première utilisation du pass Culture, les utilisateurs sont invités à remplir un court questionnaire les interrogeant sur leurs pratiques culturelles initiales.

Ce questionnaire permet de mieux connaître nos utilisateurs, et également d’évaluer l’utilité du pass Culture (en comparant par exemple les pratiques culturelles initiales d’un utilisateur et ses réservations effectuées sur le pass Culture durant les deux années d’utilisation).

Ce questionnaire est maintenant également utilisé pour le “cold-start” de l’algorithme. Un cold start est un démarrage à froid, lorsque l’algorithme ne peut pas encore tirer de conclusion des actions d’un utilisateur car il n’a pas recueilli suffisamment d’informations.

Ainsi, pour les utilisateurs du pass Culture ayant effectué moins de 2 réservations, leur module de recommandation sur la page d’accueil leur proposera les offres les plus populaires des 7 derniers jours des catégories culturelles déjà pratiquées par l’utilisateur.

Exemple : Si un utilisateur déclare “aller au cinéma” et “lire des livres”, alors son module de recommandation lui proposera les offres les plus réservées des 7 derniers jours sur le pass Culture des catégories livre et cinéma.

Afin d’évaluer la pertinence de ce “cold start”, il va être soumis à un test A/B.

1. Les tests A/B

Le test A/B (ou A/B Testing en anglais) consiste à comparer deux versions d’une page web ou d’une application afin de déterminer celle qui est la plus performante.

Dans le cas de la mise en production d’un algorithme, il est intéressant de comparer la performance d’un modèle afin de pouvoir l’améliorer et de s’assurer que ce qui est livré apporte de la valeur.
Dans notre cas, les groupes A et B sont définis par tirage aléatoire sur l’ensemble de nos utilisateurs.

• Le groupe A est exposé à l’algorithme avec cold-start
• Le groupe B est exposé à un algorithme simple reposant sur des règles de gestion (sans cold-start pour l’instant)

2. Des métriques de pertinence et de diversification
Afin de pouvoir analyser la performance de l’algorithme, il faut être en mesure de conduire une analyse statistique qui permettra de tester l’efficacité des versions A et B sur différents indicateurs.
Puisque l’algorithme du pass Culture doit répondre à un double objectif d’accroissement et de diversification de pratiques culturelles des jeunes de 18 ans, nous avons défini des métriques de pertinence et de diversification :

Métriques de pertinence :

• Nombre de clic : nombre d’utilisateurs ayant cliqué sur une offre recommandée
• Nombre de mise en favori : nombre d’utilisateurs ayant mis en favori une offre recommandée
• Nombre de réservation : nombre d’utilisateurs ayant réservé une offre recommandée

Métriques de diversification :

• Nombre de catégories différentes présentes parmi les recommandations pour un utilisateur
• Répartition des catégories entre la base des offres du pass Culture et les recommandations (afin de s’assurer que la notion de diversification est étudiée en tenant compte de l’étendue et de la diversité de notre catalogue)
• Nombre de catégories différentes cliquées, mises en favoris et réservées parmi les offres recommandées
• Nombre de catégories différentes cliquées, mises en favoris et réservées sur l’ensemble de la session utilisateur (et pas uniquement dans le module recommandation).

L’ensemble de ces indicateurs sont agrégés et suivis de manière fine par les équipes, afin de comprendre les comportements induits par l’algorithme.
Ces outils nous permettent actuellement de travailler sur une version enrichie de l’algorithme.