Quelques minutes pour introduire le Data Mesh

Le Data Mesh est une approche socio-technique pour la mise en place d’architectures Data décentralisées, tirant notamment parti des travaux et caractéristiques du Domain-Driven Design (DDD) et de l’architecture de microservices.

Il a été introduit en 2019 par Zhamak DEHGHANI et représente un important virage dans la façon de penser et mettre en place les projets Data au sein d’organisations, dans leur approche technique mais surtout organisationnelle et culturelle.

Jusqu’alors, et c’est encore largement le cas aujourd’hui, l’approche en place dans la majorité des organisations éprouve des difficultés quant à sa mise à l’échelle.

En cause notamment, des frictions dans les communications inter-équipes, un phénomène de goulot d’étranglement causé par une équipe Data centralisée trop sollicitée et une perte de connaissance fonctionnelle de la donnée, l’équipe Data n’étant que peu ou pas liée au domaine métier qu’elle exploite.

Zhamak DEHGHANI propose alors une approche s’inspirant de méthodes bien implémentées dans le Software Engineering ayant fait face à des défis similaires, qui devront permettre de répondre aux objectifs suivants :

• S’adapter aisément au changement métier ;
• Répondre aisément au développement de l’entreprise et à la croissance de sa donnée, en nombre et en diversité de cas d’utilisation/d’exploitation ;
• Bénéficier d’un meilleur retour sur investissement sur l’exploitation de la donnée et faciliter la mise en place de nouvelles opportunités d’exploitation.

Pour cela, le Data Mesh pose quatre principes :

1. La donnée est la propriété et la responsabilité de son domaine métier (Domain Ownership)

La donnée est gérée, traitée et mise à disposition par les équipes de son domaine métier, on décentralise.

Son cycle de vie est géré de manière indépendante, facilitant le passage à l’échelle.

Intégrée au domaine, l’équipe Data a ainsi une meilleure compréhension métier, la confiance en la donnée est accrue.

L’adoption des évolutions métier est facilité et plus rapide, notamment dû à la réduction des contraintes de coordination inter-équipes.

2. La donnée gérée et proposée en tant que produit (Data as a Product)

S’appuyer sur l’approche du product thinking pour proposer des solutions Data autonomes, indépendantes et proposant des interfaces d’utilisation simples, définis par des contrats.

Le produit Data doit répondre à un certain nombre de caractéristiques : découvrable, adressable, compréhensible, digne de confiance, accessible, interopérable et composable, portant intrinsèquement de la valeur et sécurisé.

Tout en respectant ses contrats d’interface et d’interopérabilité, son indépendance permet de le faire évoluer, en s’appuyant notamment sur le retour d’expérience de ses utilisateurs.

3. La plateforme data en libre-service (Self-Serve Data Platform)

Mise à disposition d’une plateforme en libre-service permettant aux équipes des domaines métiers de partager leurs données simplement et de manière standardisée.

La plateforme fournit des services et outils permettant de créer et gérer le cycle de vie, partager, monitorer, découvrir et consommer un produit Data.

Elle fournit également une vue globale du réseau de produits Data interconnectés disponibles et d’en gérer la gouvernance.

La mise en place d’une telle plateforme permettra notamment de :

• Faciliter la création, le partage et l’exploitation de la donnée par l’abstraction d’outils et technologies rendue accessibles aux équipes des domaines métier ;
• Capitaliser et mutualiser les efforts ;
• Standardiser et propager des stratégies de développement communes des produits Data ;
• Standardiser et automatiser les stratégies de gouvernance et de sécurité.

La conception de cette plateforme s’appuie également sur l’approche du product thinking.

4. Une gouvernance fédérée et automatisée (Federated Computational Governance)

Une équipe composée de représentants des produits Data, de la plateforme Data et d’experts dans des domaines tels que la loi, la conformité ou la sécurité forment les règles de gouvernance et de standards qui régissent les différents produits Data.

Tout en garantissant une certaine autonomie et liberté aux équipes Data, ces règles assurent le respect de standards garantissant notamment l’interopérabilité des produits Data composants le Mesh.

L’équipe de gouvernance fédérée s’appuie sur la plateforme Data pour faire appliquer ces règles et standards de manière automatisée et la plus transparente possible pour les équipes Data.

Elle met également en place des indicateurs de conformité pour encadrer les produits Data et répondre aux défis soulevés par la décentralisation des équipes et produits Data et le risque de non-interopérabilité et de désynchronisation avec le reste du réseau.

Ces quatre principes sont complémentaires, chacun d’entre eux apportent des solutions et posent des défis organisationnels et techniques adressés par les autres.

Bibliographie :
Zhamak DEHGHANI. Data Mesh: Delivering Data-Driven Value at Scale. O'Reilly Media. 2022.