Le Machine Learning transforme la façon de développer un logiciel et démultiplie son potentiel économique. Ce phénomène, parfaitement capturé par le terme Software 2.0, continue de bouleverser notre quotidien chez Frst. Cette série d’articles dédiés au Machine Learning a pour objectif de partager nos réflexions sur ce qu’il nous semble être les enjeux les plus excitants de cette discipline.

Vers une Intelligence Artificielle Fédérée

Le Federated Learning, ou apprentissage fédéré, est une technologie naissante permettant de créer des Intelligences Artificielles sans compromettre les données des utilisateurs. Cette méthode pourrait changer le paradigme actuel de l’IA centralisée, où développer de meilleurs algorithmes revient à collecter toujours plus de données personnelles. Entre autres, le Federated Learning permet de créer de puissants effets de réseau dans des industries où les données ne peuvent pas être déplacées.


Si l’on simplifie à l’extrême, créer une IA revient à estimer une fonction mathématique f(x)=y grâce à l’observation d’un très grand nombre d’exemples (x), labellisés (y). On parle d’entraînement de l’algorithme lorsque l’on cherche à modéliser f, et d’inférence lorsque l’on utilise f afin de prédire un résultat y pour un x donné.

Entraîner une IA nécessite de mettre la main sur un volume très important de données. A défaut de puissance de calcul suffisante on-premise, ces données sont majoritairement traitées dans le cloud, comme l’atteste le développement de solutions dédiées au Machine Learning d’AWS, Microsoft ou Google.

Pour cette raison l’IA a adopté une architecture centralisée : les données sont collectées sur les devices des utilisateurs, et centralisées dans le cloud, où se déroule l’entraînement et l’inférence des modèles.

1. Quels sont les problèmes soulevés par l’IA centralisée ?

Cette architecture est de loin la plus répandue. Néanmoins, en séparant l’IA du device qui l’exécute, on déplace constamment des volumes importants de données. Ces transferts à répétition créent de sérieuses contraintes :

a. Risque de perte de confidentialité : l’obligation de céder nos données, leur déplacement continu et leur stockage sur des serveurs distants créent de nombreuses opportunités d’interception ou d’usages inappropriés de nos données

b. Incompatibilité avec de nombreux secteurs : certaines données confidentielles ne peuvent quitter leur entreprise pour être stockées sur le cloud (santé, assurance, banque, militaire, industrie, etc.). Ces industries sont privées des bénéfices de l’IA

c. Un temps de latence en inférence trop élevé pour de nombreux use-cases (une voiture autonome ne peut se permettre d’interroger une IA sur le cloud pour prendre une décision)

d. La création de coûts de transferts exorbitants dans des contextes d’explosion du volume des données à traiter (une voiture autonome générera 4000 Go de données à inférer, par jour)

NB : l’edge computing, qui consiste à embarquer dans les devices un hardware permettant d’inférer les modèles (i.e un GPU dans une voiture autonome), supprime les problèmes c. et d., mais nécessite encore une collecte régulière des données des utilisateurs afin de ré-entraîner et améliorer le modèle. Autrement dit en edge computing l’apprentissage reste in fine centralisé sur une base cloud, ce qui ne règle pas les problèmes de confidentialité et d’exclusion des industries “sensibles” (problèmes a & b).

2. L’émergence de l’apprentissage fédéré

Une nouvelle méthode d’apprentissage des algorithmes, appelée Federated Learning, en cours de développement par Google et utilisé dans son application Gboard, pourrait devenir le socle d’une IA distribuée et confidentielle.

Fonctionnement

Prenons l’exemple d’une flotte de téléphones embarquant une IA fédérée recommandant à ses utilisateurs quelle musique écouter :

  • L’algorithme est téléchargé depuis le cloud sur chaque téléphone ; il s’agit de l’algorithme central, commun à tous les utilisateurs
  • Cet algorithme est continuellement ré-entraîné sur les données d’écoute de chaque utilisateur ; le modèle central devient local, personnalisé aux préférences des utilisateurs
  • Les nouveaux apprentissages de l’algorithme obtenus sur les données de chaque utilisateur, autrement dit les nouvelles découvertes de l’algorithme, sont envoyées dans le cloud, via un canal cryptographié. Les données des utilisateurs, elles, ne quittent pas le device
  • Ces nouvelles découvertes sont agrégées au modèle central. Ce dernier ingère les nouveaux apprentissages, comme s’il était entraîné directement sur les données des utilisateurs (comme dans une architecture centralisée)
  • Ce nouveau modèle central, obtenu par apprentissage fédéré, est aussi performant qu’un modèle centralisé. Il est de nouveau distribué sur chaque téléphone, où il vient compléter le modèle local. Au final l’IA disponible sur le téléphone cumule les apprentissages réalisés par tous les utilisateurs, tout en restant personnalisée à chaque utilisateur
  • Ce phénomène se répète

Qu’est-ce que cela change pour l’IA ?

  • Les données personnelles des utilisateurs ne quittent pas le device, seules les améliorations faites au modèle circulent. Ces dernières sont cryptographiées, rendant impossible le retro-engineering des données (il est impossible d’intercepter les améliorations et d’en déduire les données personnelles)
  • Ces améliorations sont plus légères que les données d’usage. La charge d’upload vers le serveur central est donc plus faible que dans une architecture edge ou cloud based
  • Le modèle est situé dans le device de l’user, ce qui le rend capable d’inférer en temps réel, supprimant le problème de latence

3. Partager des données confidentielles pour déployer des effets de réseau

L’Intelligence Artificielle créée une dynamique winner-takes-all à l’origine du succès des plus grandes entreprises Tech (GAFA, etc.). Ce mécanisme a été brillamment synthétisé par Matt Turck dans son article sur les effets de réseaux liés à la donnée (data network effects) :

Data network effects occur when your product, generally powered by machine learning, becomes smarter as it gets more data from your users

Image result

En permettant l’entraînement d’algorithmes via l’agrégation des découvertes réalisées par chaque utilisateur plutôt que via leurs données brutes, le Federated Learning importe ce cercle vertueux dans des secteurs où les données ne peuvent pas être transmises à un tiers, car sensibles et confidentielles (santé, industrie, banque, assurance, etc.).

L’effet de réseau développé par une startup grâce à cette technologie est d’autant plus fort que ses concurrents ne peuvent pas mettre en commun les données de leurs clients, ce qui limite la performance de leurs algorithmes.

Ce dernier point mérite d’être approfondi :

  • Une startup utilisant des méthodes classiques d’apprentissage, sur le marché de l’assurance par exemple, devra entraîner ses algorithmes sur les données de chaque client. Chaque client aura accès à une IA entraînée sur ses données exclusivement. Or on sait qu’à qualité constante, c’est la quantité des données qui déterminent la performance des algorithmes
  • Le Federated Learning simule la mise en commun des données de tous les clients de la startup et permet la création d’ algorithmes performants et robustes
  • Cette sur-performance des algorithmes (versus l’entraînement siloté des concurrents) offre un bond en qualité du produit, qui accélère l’acquisition de nouveaux utilisateurs, et permet de collecter davantage de données, augmentant alors la performance des algorithmes, et ainsi de suite

Owkin, startup du portfolio de Frst, utilise le Federated Learning pour faire collaborer différents grands centres de traitement du cancer. Les données des patients ne quittent pas les hôpitaux, mais les apprentissages faits dans chaque centre sont agrégés et sont employés à la découverte de nouveaux traitements contre le cancer. L’apprentissage fédéré offre de puissants nouveaux outils aux centres de traitement sans compromettre les données des patients.

Quel secteur tirerait le plus d’avantages d’une IA fédérée ? Quels apprentissages pourraient partager un réseau d’usines ? Des assureurs concurrents ? Nous sommes persuadés chez Frst que derrière ces questions se cachent d’immenses opportunités. Si vous développez une IA fédérée, ou travaillez sur cette technologie encore naissante, n’hésitez pas à m’écrire pour en discuter :) -> gabriel@frst.vc


Merci à Gilles Wainrib pour ses conseils bienveillants, et de m’avoir transmis sa passion pour le Federated Learning ;)

Frst

We are the first believers.

Gabriel de Vinzelles

Written by

VC @Otiumventure

Frst

Frst

We are the first believers.

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade