Mélusine, un retour d’expérience MAIF !

Cela fait maintenant presque trois ans que nous nous sommes lancés dans l’optimisation du traitement des flux mails entrants à MAIF. Nous avions à cette occasion libéré en Open Source la librairie Mélusine permettant la qualification des emails entrants grâce à des techniques avancées de traitement du langage, développée avec notre partenaire Quantmetry.

Il était donc temps pour nous de revenir sur le chemin parcouru mais également vous partager nos ambitions pour les années à venir !

Pourquoi avoir créé Mélusine ? C’était quoi le besoin ?

Commençons par le commencement ! MAIF, c’est plus de 3 millions de sociétaires et plus de 15000 mails reçus par jour. C’est donc beaucoup de mails à traiter par nos gestionnaires et conseillers. Il nous fallait trouver une solution pour soulager leur charge de travail et réduire le délai de réponse à nos sociétaires.

Le routage des mails

Une des premières problématiques rencontrées était le routage des mails. Et par routage, on entend distribuer le mail à l’entité compétente pour le traiter.

MAIF utilise des boites à lettres génériques pour les différents métiers de l’assurance : la gestion d’un sinistre, sa déclaration ou encore la gestion des contrats. Dans ces métiers, se détaillent de nombreuses spécialités comme, par exemple, la gestion de contrats automobiles, navigation ou habitation. Ces spécialités nécessitent une expertise de la part de nos utilisateurs. Un conseiller expert en contrat automobile est rarement expert en contrat navigation. Nous avions donc besoin de comprendre le contenu du mail pour l’attribuer au conseiller expert compétent et limiter les rebonds qui peuvent rallonger les délais de réponse.

Aujourd’hui, dans le domaine « Contrats », Mélusine permet un routage vers le bon expert dans plus de 84% des cas. On a ainsi pu voir une réduction du délai de réponse au sociétaire de 40% dans certains domaines d’expertise.

Une évolution constante du périmètre et des améliorations de l’existant.

A l’initiale de ce projet, en 2018, nous avions préféré cibler les mails du domaine « Contrats » pour faire la preuve de nos développements et montrer la valeur que pouvait apporter l’Intelligence Artificielle dans la gestion des flux entrants mails. Grâce à cette première expérience positive sur un périmètre restreint, nous avons suscité l’intérêt des utilisateurs et avons rapidement entamé des travaux sur les mails du domaine « Sinistres ». Fin 2019, nous faisions notre première mise en production sur ce domaine.

Depuis, nous n’arrêtons pas d’étendre le périmètre de Mélusine dans le traitement de flux : de nombreux cas d’usages, traitements de flux autres que mails (ex : commentaires d’experts), améliorations des cas d’usages existants.

Mélusine, ce n’est pas que le routage !

Grâce aux technologies utilisées pour l’analyse du langage, nous avons pu enclencher de nombreux types de traitements : de la priorisation, de la clôture de mails, de la réponse automatique, etc…

En effet, au-delà du routage, un mail contient de nombreuses informations à mettre en valeur ou utiliser pour faciliter le quotidien de nos utilisateurs. Les différentes briques de la librairie Mélusine Open source peuvent alors être réutilisées à volonté.

Une fois la segmentation du mail réalisée (identification des signatures, remerciements, corps du mail etc…), on peut cibler la partie du mail qui nous intéresse et entraîner un modèle d’intelligence artificielle (réseau de neurone) pour réaliser le traitement souhaité.

Des réseaux de neurones pour tous les cas d’usages ?

Dans la majorité de nos cas d’usages, on répond à une question « simple » qui nécessite une réponse binaire (oui, ou: non?). Pour vous donner un exemple concret, aujourd’hui en production, on veut savoir si le message nécessite une action ou non du gestionnaire/conseiller. Le modèle devra alors répondre « Information » ou « Action ».

On peut alors aborder la problématique par des méthodes de classification supervisée, i.e. notre modèle s’entrainera avec des données pour lesquelles il connait déjà les réponses. Cela nécessite, bien sûr, en amont, la préparation d’un jeu de données.

Nous nous appuyons systématiquement sur les métiers pour réaliser cette préparation car seuls eux peuvent retranscrire les pratiques du quotidien. Selon la complexité du cas d’usage, le volume de messages à annoter nécessaire varie d’une centaine à quelques milliers par catégorie à prédire.

Ce processus permet de traiter des messages de formes très différentes, avec une infinité de formulations du langage. On peut alors couvrir de grands volumes de données en production. Mais ce genre de méthodes probabilistes peut aussi être source d’erreur. C’est pourquoi nous le couplons parfois avec des règles métiers pour sécuriser la réponse apportée en production. Plus particulièrement, lorsqu’on veut clôturer un mail informatif, il est impératif qu’aucun message ne soit clôturé à tort.

Certains cas d’usages sont également assez simples pour être traités uniquement avec des règles métiers. Par règles métiers, on entend la recherche de motifs fixes dans le texte à l’aide d’expressions régulières. Par exemple, pour détecter un remerciement chaleureux, nous rechercherons dans le message le motif « merci beaucoup » ou le mot « infiniment » alors qu’on exclura des mots comme « inacceptable ».

Un changement des pratiques des gestionnaires/conseillers au quotidien

Depuis la mise en production de Mélusine, nous avons pu faire la preuve que l’intelligence artificielle peut opérer sans faire de l’ombre à l’activité de nos utilisateurs. Nous souhaitions d’ailleurs à cette occasion, recueillir les témoignages de nos utilisateurs sur leur quotidien avec Mélusine. Deux de nos gestionnaires se sont prêtées au jeu des interviews.

Témoignage d’Annabelle

Julie et Annabelle évoquent notamment comment Mélusine a changé leur quotidien grâce à :

• La priorisation des mails : nous pouvons détecter des messages à caractère d’urgence ou au contraire déprioriser certains mails. Cette information est portée à l’attention du gestionnaire/conseiller qui adapte son activité en fonction.
• La clôture des mails : les mails à caractère informatifs qui ne nécessitent pas d’action peuvent être clôturés directement. Ils s’affichent toutefois aux yeux de l’utilisateur mais sans nécessiter d’actions. L’utilisateur peut alors lire son contenu rapidement.
• La réponse automatique: de manière très marginale, une réponse automatique est apportée pour certains mails qui ne requièrent pas d’accompagnement de la part d’un conseiller. Comme la clôture, le mail émie automatiquement s’affiche dans l’interface sans nécessiter d’actions.
• Le confort : au-delà de la priorisation ou la clôture, un gros travail a été réalisé sur la façon d’apporter le plus d’informations possibles sur l’interface du gestionnaire/conseiller. Ainsi, un champ texte est enrichi pour leur donner une première lecture rapide du mail. Apparaissent alors l’expéditeur du mail, les cas d’usages détectés par l’IA (ex : taux d’humidité, rendez-vous détecté, mise en place d’aide à domicile etc.) et le début du mail.

Autant d’informations qui permettent à l’utilisateur de comprendre rapidement les actions à mener et organiser sa journée.

Témoignage de Julie

Tous ces apports de l’IA se sont traduits par une adaptation du quotidien des utilisateurs, qui se sont rapidement emparés des informations fournies pour organiser plus sereinement leur journée de travail. Ces améliorations allègent leur activité d’actions simples et répétitives, ce qui les rend plus disponibles pour répondre aux sociétaires.

Les perspectives pour l’Intelligence Artificielle

Les volumes de flux emails étant en constante croissance, nous avons à cœur d’étendre toujours plus le périmètre de Mélusine. Cela peut passer par l’amélioration de la détection de cas d’usages existants, la mise en place de nouveaux cas d’usages ou par l’exploitation de nouveaux types de données !

En effet, un mail ce n’est pas que du texte ! Ce sont aussi des pièces jointes. En cette fin d’année 2021, nous mettrons notre premier modèle de typage de pièces jointes en production. L’utilisateur pourra ainsi rapidement savoir si le document associé est une facture, un devis etc… Combiner le contenu du texte et le type de documents élargira également le périmètre de nos cas d’usages.

Par exemple, aujourd’hui nous ne clôturons que des mails informatifs sans pièce jointe. Jusqu’à maintenant, lorsque le mail contenait une pièce jointe, on ne savait pas ce qu’elle contenait. On ne voulait pas prendre le risque de clôturer un mail contenant des documents importants.

Mais ! Vous avez sûrement déjà fait l’expérience de ces mails avec des signatures/logos en pièces jointes…elles ne vous sont que rarement utiles. Lorsqu’on saura identifier ces documents à faible valeur, on pourra clôturer un plus grand volume de mails informatifs. Ce qui allègera encore le quotidien du conseiller/gestionnaire, qui pourra se recentrer sur la relation au sociétaire et des tâches à valeur ajoutée.

L’Open Source dans tout ça ?

Malgré une volonté de partage et transparence sur les outils utilisés, il est parfois difficile de faire évoluer en parallèles nos algorithmes de production et la librairie Open Source. Le facteur principal étant le manque de temps. Pour répondre aux besoins de nos utilisateurs MAIF de façon réactive, nous priorisons le déploiement en interne de Mélusine et, animer une communauté Open Source peut s’avérer chronophage.

C’est pourquoi cette année 2021, nous avons peu contribué à Mélusine Open Source. Nous restons cependant présents pour assurer le support pour répondre à vos interrogations, résoudre des bugs ou intégrer de nouvelles contributions.

Une seconde raison pour laquelle nous avons peu contribué est que, nous préparons des changements structurels de la librairie. En effet, en étendant le périmètre de Mélusine en interne, nous nous sommes rendu compte, sur certains projets, que nous utilisions du code trop spécifique et non-réutilisable.

Sur l’année 2022, nous allons entamer des travaux pour rendre notre code plus modulable et réutilisable d’un projet NLP à l’autre. Nous pourrons ensuite vous en faire profiter ! Mais il faudra d’abord que nous éprouvions cette réorganisation en production.

Cependant, nous sommes toujours enthousiastes à l’idée de recevoir de nouvelles contributions externes pour apporter de nouvelles fonctionnalités !!! Alors n’hésitez pas à nous écrire sur le Github de Melusine en créant une issue ou tout simplement en nous écrivant dans l’onglet « Conversation ».

Mélusine continue à évoluer. Au plaisir de vous lire !