Implémenter l’IA de confiance
Retour d’expérience de la Digital Factory de TotalEnergies
Les enjeux éthiques et sociaux sont régulièrement pointés dans l’actualité lorsqu’il est question d’Intelligence Artificielle (IA), notamment au travers de cas emblématiques qui font polémique. Dans de nombreux secteurs, les technologies IA ont démontré leur valeur et le grand public est confronté à une généralisation de ces solutions. L’accélération des usages nous conduit à nous interroger sur les impacts de ces technologies, en tant que citoyen et en tant qu’acteur, spécialiste ou technicien du domaine.
La société civile, les entreprises et les institutions publiques se sont appropriées ces enjeux et « l’IA responsable » est rapidement devenue un sujet incontournable. Au-delà du buzzword, un cadre pour développer une IA digne de confiance a émergé afin de répondre à un besoin croissant de contrôle, de transparence et d’éthique concernant les algorithmes et leurs usages. Au niveau européen, la « proposition de règlement établissant des règles harmonisées concernant l’intelligence artificielle »[i] parue en avril 2021 traite des risques générés par les « systèmes d’IA » et fixe des exigences et obligations incombant à l’ensemble des acteurs de cette industrie. Ce règlement pourrait entrer en vigueur en 2023 et va sans aucun doute accélérer la prise en compte de ces enjeux. Parallèlement à ce cadre réglementaire, de nombreux acteurs du domaine se sont d’ores et déjà impliqués dans une démarche volontaire et concrète d’implémentation de l’IA de confiance, conscients des attentes des parties prenantes et du levier de valeur de cette approche pour leurs opérations.
Dans cet article, nous proposons un retour d’expérience sur le parcours mené depuis 2021 à la TotalEnergies Digital Factory (TDF) pour appréhender les enjeux de l’IA de confiance dans le cadre de ses activités. Nous présenterons les différentes étapes de la démarche adoptée par la Data Team (praticiens de la data science au sein de la TDF) : appropriation des concepts, cartographie des risques, évaluation des pratiques et déclinaison méthodologique et opérationnelle d’une feuille de route.
Définir le périmètre et les sources de référence
Au sein de la TDF, la première étape a consisté à s’approprier les définitions et les concepts liés à la thématique « IA de confiance » qui fait partie d’une feuille de route « digital responsable » plus globale initiée début 2021. Selon le guide pratique de l’association Impact AI[ii], « le concept d’IA responsable traite en priorité des enjeux de responsabilités des entreprises » et « le concept d’IA digne de confiance (…) permet d’embrasser les dimensions éthiques, techniques et légales de l’Intelligence Artificielle ».
Au-delà de ces questions de vocabulaire, il s’agissait d’identifier les organismes et référentiels sur le sujet. Nous pouvons citer plusieurs acteurs et publications qui nous ont permis de nous familiariser avec les principes fondateurs et problématiques associées.
- Institutions publiques : Commission Européenne (AI HLEG — High-Level Expert Group[iii]) ; OCDE[iv]
- Organisme de normalisation : AFNOR[v]
- Associations professionnelles : Impact AI ; IEEE (Institute of Electrical and Electronics Engineers[vi])
- Cabinets de conseil : Deloitte[vii], EY[viii], Axionable[ix], Quantmetry[x]
Malgré quelques nuances, les grands principes convergent autour des dimensions suivantes :
- Légale : respect des législations et réglementations applicables ;
- Ethique : adhésion à des valeurs centrées sur l’humain, le bien-être, le développement durable et l’inclusion ;
- Robuste : exigence de fiabilité, sécurité et résilience.
Ces critères garantissent la confiance, préalable à l’acceptation sociale et l’adoption des solutions embarquant de l’Intelligence Artificielle. L’intention de l’IA digne de confiance est d’anticiper les impacts de l’application de ces technologies sur la société et l’environnement et de tenir compte des conséquences dès la conception.
Ces grands principes se déclinent en exigences qui font consensus selon les divers organismes. Nous retiendrons les 7 exigences telles que formulées par le HLEG au niveau européen :
- Facteur humain et contrôle humain : l’IA sous le contrôle de l’humain ;
- Robustesse et sécurité : fiabilité des algorithmes et prévention des failles de sécurité ;
- Respect de la vie privée et gouvernance des données : respect des réglementations sur les données personnelles et qualité des données ;
- Transparence : traçabilité, explicabilité et communication auprès des parties prenantes ;
- Diversité, non-discrimination et équité : détection et correction des biais ;
- Bien-être environnemental et sociétal : convergence d’intérêts économiques, environnementaux et sociétaux ;
- Responsabilisation : gouvernance adaptée à chaque solution et traitement embarquant de l’IA.
- Appréhender les enjeux par les risques
La seconde étape a consisté à s’approprier ces référentiels en les projetant dans le contexte de nos opérations. Afin d’appréhender les exigences liées aux impacts et aux besoins des différentes parties prenantes, nous avons dressé une cartographie 360° des risques inhérents à l’implémentation de l’IA dans nos cas d’usage lors d’un atelier dédié. Les membres de la Data Team ont ainsi pu prendre du recul sur leur pratique et tirer le fil de chaque cadran de cette matrice des risques avec leur expérience concrète du terrain.
Pour cet atelier, nous avions comme point d’entrée une large typologie de risques (Performance, Technique & Cybersécurité, Usage, Business & Valeur, Sécurité, Juridique & Conformité, Ethique & Réputationnel, Culturel) que nous avons déclinés en problématiques plus détaillées. Les data scientists ont ensuite voté pour celles qui étaient les plus critiques et impactantes de leur point de vue.
Cette première cartographie dressée par les data scientists ne tient pas lieu d’analyse des risques exhaustive dans la mesure où elle ne prend pas en compte le point de vue des autres parties prenantes. Elle a néanmoins permis aux membres de l’équipe de prendre la mesure de l’ensemble des implications du développement et du déploiement de leurs modèles, et de la variété des impacts potentiels. Cet exercice a été mené au cours de l’été 2021 ; les votes seraient sûrement répartis différemment aujourd’hui, la maturité sur ces enjeux ayant progressé et le retour d’expérience sur les problématiques liées au passage des modèles en production s’est étoffé.
Cette analyse systémique a vocation à limiter l’ensemble des risques et maximiser la valeur des solutions embarquant de l’IA sur le long terme. Elle permet par exemple d’identifier aussi bien les freins prioritaires à l’adoption et d’investir sur des chantiers comme l’acculturation des utilisateurs, la transparence et la traçabilité, mais aussi de capturer les enjeux liés à la qualité des données ou leur confidentialité, ainsi que les processus et ressources à renforcer pour l’industrialisation, la maintenance et l’évolution des solutions.
Par ailleurs, la proposition de règlement de la Commission européenne adopte aussi une approche par les risques. Il distingue les « systèmes d’IA » qui génèrent, du fait de leur finalité, un risque inacceptable, haut, faible ou minimal pour la santé et la sécurité des personnes ou pour les droits fondamentaux des citoyens. Dans ce contexte, les « systèmes d’IA » impliqués dans « la gestion et l’exploitation des infrastructures critiques » (dont l’énergie) sont classés à « haut risque » et devraient respecter « certaines exigences obligatoires ».
Evaluer les méthodes et pratiques
À ce stade de notre démarche, nous avions besoin d’une évaluation objective de nos pratiques par rapport au corpus et aux exigences de l’IA de confiance. Nous avons fait appel à un cabinet spécialisé pour mener un audit qui s’est déroulé au dernier trimestre 2021.
Nous visions plusieurs objectifs à travers cette initiative :
- obtenir une évaluation concrète de la conformité de nos activités avec ces exigences ou standards ;
- se situer par rapport aux pratiques du marché ;
- identifier les points forts sur lesquels capitaliser dans nos processus existants ;
- prioriser les chantiers et actions à mener ;
- mobiliser les membres de l’équipe sur la base d’une étude factuelle.
Le périmètre de l’audit a concerné trois projets représentatifs des différentes typologies de données et branches d’activité (la majorité des projets développés à la TDF concernent des finalités industrielles ou liées à l’amélioration de la performance opérationnelle). Il portait aussi sur le framework et l’ensemble des standards des processus et opérations data science et data management en vigueur à la TDF. Il s’agissait d’évaluer deux dimensions : la conformité des pratiques et livrables avec les exigences de l’IA de confiance et la disponibilité de la documentation permettant de l’attester. En revanche, l’évaluation ne portait pas sur la pertinence ou performance des modèles eux-mêmes.
L’audit s’est déroulé sur plusieurs semaines avec des entretiens (data scientists, Technical Advisors, Technical Leads et Product Owners, utilisateurs, experts métier) et une étude approfondie de la documentation disponible. Les résultats et conclusions de cet audit ont été partagés à l’ensemble de la Data Team. Ils ont permis de mettre en évidence les points forts, les axes d’amélioration et de formuler des recommandations méthodologiques, techniques et organisationnelles.
Qu’avons-nous appris de cet audit ?
Un premier constat : la majorité des problématiques soulevées convergent pleinement avec les chantiers déjà capturés et initiés par la Data Team autour de la robustesse, la fiabilité et l’industrialisation des modèles, la gouvernance et les responsabilités associées à la maintenance ou l’évolution des produits embarquant de l’IA.
Se conformer aux exigences de l’IA de confiance s’avère parfaitement compatible avec les objectifs de performance et de création de valeur, et constitue un véritable parcours et levier d’excellence pour l’ensemble des acteurs.
Implémenter une feuille de route
L’audit a permis de dégager des points forts sur lesquels la Data Team capitalise et continue de progresser dans ses activités. On peut citer notamment :
- la définition du besoin métier et l’analyse de la valeur ;
- les méthodes et rituels Agile ;
- le respect des standards de sécurité, protection et confidentialité des données (grâce à une étroite collaboration avec les équipes chez TotalEnergies en charge de l’application de ces règles, en particulier sur la conformité règlementaire pour les données personnelles) ;
- le déploiement technique et l’industrialisation logicielle.
Parmi les axes d’amélioration mis en évidence par l’audit, certains étaient directement liés aux opérations menées par les data scientists, et d’autres adressaient des dimensions plus transverses ou organisationnelles au niveau de la Digital Factory.
Nous avons choisi d’adresser dans un premier temps les thématiques directement applicables au niveau technique et méthodologique par les membres de la Data Team :
- la formalisation scientifique et technique ;
- la fiabilité, les tests de robustesse et l’explicabilité.
L’audit a montré que la documentation était hétérogène d’un projet à l’autre, la justification scientifique et le détail des itérations n’étant pas toujours disponibles. Cette lacune peut impacter directement la conception du produit, l’exigence de transparence sur l’historique du projet et la maintenance des modèles dans le temps.
Par ailleurs, concernant la dimension robustesse, la systématisation des tests de fiabilité et l’application d’une méthodologie commune doit permettre d’éviter des problématiques de performance et de renforcer la résilience des modèles. De même, mener des analyses sur l’explicabilité des modèles permet d’anticiper des risques de dérive et d’expliquer des écarts de comportement plusieurs mois après la mise en production.
Afin d’adresser ces différents chantiers, les Technical Advisors de la Data Team ont construit un Model Design Document Template[xi] qui se présente sous la forme d’une arborescence à instancier dans la documentation de chaque projet. C’est un outil méthodologique complet incluant une structure standard de formalisation pour les modèles data science avec l’enchaînement des étapes du projet à documenter, les bonnes pratiques et références de l’état de l’art[xii], les standards et les niveaux d’exigence à atteindre matérialisés par une check-list et un scoring par section. Ces exigences sont déclinées en fonction des approches utilisées (Machine Learning, Optimisation).
Différentes thématiques clés pour l’IA de confiance sont abordées dans ce template et mettent en avant les bonnes pratiques à appliquer :
- l’analyse de risque (au niveau technique et de l’adoption utilisateurs) ;
- l’analyse des sources de données et de leur conformité avec le besoin et les exigences réglementaires ou de sécurité ;
- la construction de l’approche data science et les références pertinentes dans l’état de l’art ;
- les métriques d’évaluation du modèle ;
- l’analyse de biais dans les data sets ;
- les tests de robustesse ;
- l’estimation de l’incertitude ;
- ainsi que tous les standards techniques d’implémentation, de déploiement et de monitoring des modèles (MLOps : Machine Learning Operations).
Ce framework intègre aussi une contribution spécifique consacrée à l’explicabilité[xiii] et sa déclinaison dans le contexte de la TDF. En effet, il paraissait essentiel de s’interroger sur une méthodologie de recueil des besoins auprès des utilisateurs et principales parties prenantes en terme d’explicabilité (levier pour l’adoption, exigences de sécurité et de confidentialité, type d’explication, présentation de l’explication, fréquence cible de consultation, performance attendue).
Par ailleurs, une analyse poussée de l’ensemble des outils et approches disponibles dans le domaine XAI (eXplainable Artificial Intelligence) a aussi été menée. Un guide d’entretien et de recommandations est proposé afin de capturer les problématiques, les impacts de ces approches sur la performance et l’intégration technique dans le produit et d’orienter les data scientists dans le choix de leurs modèles et outils d’explicabilité en fonction des besoins spécifiques recensés pour chaque projet.
Perspectives
Aujourd’hui la Data Team s’est appropriée ces exigences et s’engage dans une dynamique volontaire d’implémentation de l’IA de confiance en déclinant l’approche de bout en bout pour les projets développés à la Digital Factory. Cette approche est pleinement cohérente avec les exigences de performance opérationnelle et s’inscrit dans une démarche d’amélioration continue.
À ce stade de son parcours, la Data Team doit désormais évaluer la mise en pratique des standards définis dans la vie des projets et recueillir l’avis des praticiens sur la valeur concrète et la faisabilité des différentes exigences, à la fois au niveau méthodologique et au niveau de l’effort de formalisation. Ces expérimentations et retours permettront d’ajuster le dispositif, de prioriser les efforts et de définir un premier cadre IA de confiance pleinement intégré aux activités de la TDF.
De plus, certains chantiers spécifiques doivent encore être approfondis. Il s’agit notamment de l’analyse des biais et de la représentativité des données. Dans le contexte des projets de la TDF, il ne s’agit pas de prévenir la discrimination car nous ne travaillons que très exceptionnellement sur des données personnelles mais plutôt de s’interroger sur tous les biais conjoncturels (exemple : effet indirect du COVID) ou structurels (exemples : phénomènes physiques ou événements non capturés, déficience de capteurs). Ces problématiques ne peuvent être adressées que dans une étroite interaction avec les experts métier, en éveillant leur vigilance et en renforçant leur sensibilisation sur les impacts de ces approches « data-driven » dans des environnements opérationnels évolutifs et volatiles.
De même, un effort doit être porté sur l’estimation des incertitudes et la nécessaire transparence vis-à-vis des sponsors et des utilisateurs à ce sujet. Au-delà des méthodes techniques pour définir les intervalles de confiance, il faut développer un langage et un mode de communication illustré propice à cette transparence sur l’incertitude et ses principales composantes auprès des utilisateurs et parties prenantes. Ce dialogue transparent permettra d’identifier les cas d’application les plus pertinents pour des approches « data-driven » et construire les solutions digitales, qu’elles embarquent de l’IA ou pas, les plus adaptées aux contextes et environnements opérationnels exigeants et complexes de TotalEnergies.
Enfin, construire la confiance autour des applications embarquant de l’IA nécessite une organisation robuste tout au long du cycle de vie du produit en termes de ressources et de compétences. Spécifiquement pour ces solutions d’IA une fois qu’elles sont en production, il est nécessaire de garantir la présence d’experts data scientists en capacité d’analyser les évolutions ou dégradations de la performance des modèles. Leur intervention doit permettre d’investiguer, de poser un diagnostic et d’intervenir rapidement pour s’adapter au nouveau contexte et proposer des solutions ajustées. Sinon le risque est grand de voir les utilisateurs se détourner de ces produits et de ne pas capturer la valeur attendue.
Les data scientists sont conscients que les parties prenantes sont en demande de plus de transparence et de connaissance sur la conception des solutions « data driven », les résultats que l’on peut attendre des modèles, mais aussi leurs limites et comment les appréhender. Lors d’un atelier en juin 2022, ils ont défini les thématiques de l’IA de confiance prioritaires à adresser ou renforcer dans leurs activités au quotidien. La prochaine étape pour la Data Team pourrait consister à publier ses engagements opérationnels et concrets dans une charte ou un manifesto permettant d’engager plus largement le dialogue avec les parties prenantes.
Une collaboration étroite des praticiens de la data science avec les utilisateurs et experts métier est clé pour la transformation digitale chez TotalEnergies et permettra la promotion d’un usage des solutions d’IA pleinement informé et conscient, pertinent et créateur de valeur.
Références
[i] Proposition de règlement établissant des règles harmonisées concernant l’intelligence artificielle (Commission européenne — Avril 2021)
[ii] Trustworthy AI — Establishing AI Governance specific to a business (Impact AI — December 2020)
[iii] Ethics guidelines for Trustworthy AI (AI HLEG — 08 April 2019) ; The Final Assessment List for Trustworthy AI (ALTAI) (AI HLEG — 17 July 2020)
[iv] Tools for Trustworthy AI — A framework to compare implementation tools for Trustworthy AI systems (OECD — June 2021)
[v] Développer une intelligence artificielle de confiance (AFNOR — dossier 2021)
[vi] Trustworthiness of Artificial Intelligence (IEEE — March 2020)
[vii] L’Intelligence Artificielle digne de confiance (Deloitte)
[viii] Sans confiance, quel avenir pour l’Intelligence Artificielle dans l’industrie ? (EY — Novembre 2021)
[ix] IA durable et résilience (Axionable — 2020)
[x] IA de confiance — Du concept à l’action ! (Quantmetry — 2021)
[xi] Model Design Document Template (TotalEnergies Digital Factory — April 2022), rédigé par Matthieu Lagacherie, Senior Manager, OCTO Technology.
[xii] Breck, E., Cai, S., Nielsen, E., Salib, M., & Sculley, D. (2017, December). The ML test score: A rubric for ML production readiness and technical debt reduction. In 2017 IEEE International Conference on Big Data (Big Data) (pp. 1123–1132). IEEE.
Eugene Yan, “How to Write Design Docs for Machine Learning Systems”, How to Write Design Docs for Machine Learning Systems
[xiii] Explainability Framework (TotalEnergies Digital Factory — August 2022), rédigé par Zakari Ait Ouazzou, stagiaire data scientist au sein de la Data Team.
