Les LLM : entre progrès technologique et défis environnementaux

Cet article est le second d’une série explorant l’univers de l’intelligence artificielle générative. À travers ces publications, nous nous penchons sur les LLM, modèles de langage de grande taille comme ChatGPT, pour comprendre leur impact et leur implication dans le monde de l’Intelligence Artificielle.

Articles de la série :

1. Les LLM : triomphe de l’IA ou désillusion ?
2. Les LLM : entre progrès technologique et défis environnementaux
3. Comment utiliser les LLM de manière responsable : l’enjeu de la frugalité

Les LLM : entre progrès technologique et défis environnementaux — image générée par Dall-E

Dans un précédent article, nous avons abordé le potentiel des Large Language Models (LLM), tels que la série GPT d’OpenAI et Gemini de Google, qui sont devenus le fer de lance des avancées technologiques en matière d’intelligence artificielle. Ces systèmes sophistiqués, bien connus pour leur capacité à comprendre et à générer des textes semblables à ceux des humains, ont inauguré une nouvelle ère d’intelligence artificielle, alimentant des innovations dans de nombreux domaines. Qu’il s’agisse d’améliorer les processus d’écriture créative ou de faciliter des interactions dynamiques en temps réel avec les utilisateurs, les LLM sont de plus en plus intégrés dans le tissu des interactions et des services numériques. Leur maîtrise inédite des tâches linguistiques transforme non seulement la façon dont les machines s’approprient la communication humaine, mais aussi la manière dont elles contribuent à générer des contenus informatifs, convaincants et, on l’espère, pertinents sur le plan contextuel.

Cependant, la prolifération rapide et l’intégration des LLM dans les applications commerciales et personnelles soulèvent d’importantes préoccupations environnementales. Le développement de ces modèles nécessite de grandes quantités de puissance de calcul et de données, impliquant souvent des centaines de serveurs fonctionnant en continu pendant des semaines, voire des mois, ce qui entraîne une consommation d’énergie considérable et, par conséquent, une empreinte carbone significative. Cette utilisation intensive des ressources met en évidence un dilemme complexe dans le domaine de l’IA : à mesure que ces modèles deviennent plus performants et que leur utilisation se généralise, l’impact environnemental de leur développement et de leur fonctionnement s’accentue. Cette situation soulève des questions pressantes sur la durabilité dans le secteur de l’IA.

Des serveurs toujours plus nombreux et puissants

L’entraînement des LLM est une opération particulièrement gourmande en ressources, tant par le volume de données manipulées que par la puissance de calcul nécessaire. Ces modèles sont construits sur des architectures massives pouvant comporter des dizaines de milliards de paramètres.

Ces paramètres représentent les “connexions” dans le réseau neuronal, chaque connexion correspondant à un poids ajustable qui permet au modèle de capturer les nuances du langage. Plus un modèle possède de paramètres, plus il est capable d’apprendre des motifs complexes dans les données, ce qui améliore sa capacité à générer des réponses pertinentes et cohérentes. Cependant, chaque paramètre doit être ajusté au cours de l’entraînement, un processus qui nécessite de nombreux calculs pour affiner ces poids en fonction des données d’entrée.

Ces LLM nécessitent ainsi un niveau de ressources informatiques considérable équivalent à des centaines de serveurs disposant d’unités de traitement graphique (GPU) de haute performance. Ces calculs sont souvent effectués sur des plates-formes de cloud computing, soit sur des serveurs distants hébergés dans des centres de données et accessibles par internet.

L’impact environnemental d’une telle intensité de calcul est significatif, surtout si l’on considère que les centres de données, et les réseaux qui les relient, représentent à eux seuls entre 2 et 3 % de la consommation mondiale d’électricité. Selon un rapport de l’Agence Internationale de l’Énergie (AIE) de 2024, ce chiffre correspond à environ 1 % des émissions de gaz à effet de serre (GES) liées à l’énergie dans le monde. A titre de comparaison, le trafic aérien est responsable de 2% des émissions. Selon les experts de l’université de Californie à Riverside, l’utilisation de ChatGPT pour dix à cinquante demandes consomme environ deux litres d’eau pour le refroidissement des serveurs de calcul.

Ce qui est encore plus inquiétant, c’est que cette consommation devrait augmenter, sous l’effet de l’expansion des capacités et des applications des technologies de l’IA. L’ADEME estime que l’empreinte carbone du numérique en France devrait augmenter d’environ 45 % entre 2020 et 2030 pour atteindre 25 Mt CO2eq et pourrait tripler d’ici à 2050.

Cette projection est soulignée par l’attention croissante du marché et la valorisation d’entreprises telles que Nvidia, qui ont quasiment le monopole sur la fabrication des GPU qui alimentent ces innovations en matière d’IA. Si l’on inclut AMD et Intel, les livraisons totales de GPU pour centres de données s’élèvent à 3,85 millions d’unités en 2023, contre 2,67 millions d’unités en 2022, selon TechInsights.

L’augmentation de l’utilisation des ressources pose des questions cruciales sur la durabilité des pratiques actuelles de développement de l’IA et sur les implications environnementales à long terme d’une dépendance continue à l’égard de ces technologies à forte consommation d’énergie.

Calculer l’impact environnemental

L’estimation de l’impact environnemental des modèles d’IA, en particulier des LLM, implique une analyse complète qui va au-delà de la phase d’entraînement initiale pour inclure les opérations de maintenance et d’exploitation en cours. Une fois qu’un LLM est entraîné, il n’est pas simplement mis de côté ; au contraire, il doit être périodiquement réentraîné pour intégrer des données plus récentes, corriger les biais ou améliorer ses capacités avec des ensembles de données plus complets. Cette nécessité d’une mise à jour continue augmente considérablement l’empreinte environnementale globale du modèle.

Pour calculer l’impact environnemental total d’un modèle d’IA au cours d’une année, plusieurs facteurs doivent être pris en compte :

• Coûts de prototypage et de développement : il s’agit de l’énergie et des ressources utilisées pour choisir puis entraîner initialement le modèle. Le coût environnemental est ici lié à la puissance de calcul élevée requise, qui est considérable compte tenu de la complexité et de la taille des LLM.
• Coûts opérationnels et de maintenance : après l’entraînement, les modèles sont déployés dans des environnements de production, où leur comportement est surveillé, et régulièrement réentraînés. Le coût environnemental de chaque session de réentraînement doit être multiplié par la fréquence de ces sessions tout au long de l’année pour obtenir une image claire de l’impact continu.
• Coûts d’utilisation : pour qu’un modèle d’IA traite une demande, ou “requête”, il doit être déployé et consomme de l’énergie. L’impact cumulé de ces requêtes peut être considérable, en particulier pour les modèles déployés à grande échelle et utilisés fréquemment. Le coût total comprend donc l’énergie consommée par requête multipliée par le nombre de requêtes sur une année.

En outre, le cycle de vie complet du matériel utilisé joue également un rôle essentiel dans le calcul de l’empreinte environnementale. Il s’agit notamment des coûts d’acquisition du matériel, tels que les GPU, car cela implique non seulement les coûts énergétiques liés à l’extraction des matières premières, à la fabrication et au transport, mais aussi à l’élimination ou au recyclage de ces composants.

Ainsi, une approche holistique de l’estimation de l’impact environnemental des LLM et des technologies d’IA similaires doit intégrer ces divers facteurs, offrant une compréhension plus complète des coûts environnementaux directs et indirects. Cette analyse est essentielle pour élaborer des stratégies visant à atténuer l’impact environnemental des applications d’IA en plein essor.

L’accès limité à des données complètes sur l’ensemble du cycle de vie des équipements constitue un défi avéré pour l’évaluation précise de l’impact environnemental des technologies de l’IA, en particulier en ce qui concerne le matériel utilisé pour l’apprentissage et l’utilisation des modèles. Depuis la production et l’utilisation opérationnelle jusqu’au recyclage, l’empreinte environnementale complète du matériel informatique est souvent obscure. C’est pourquoi, lors de ces évaluations, il est impératif que les choix concernant les métriques d’évaluation à utiliser et les étapes du cycle de vie à inclure soient clairement expliqués et justifiés. Cette transparence est essentielle pour garantir que les évaluations sont à la fois crédibles et significatives, et qu’elles constituent une base solide pour comprendre les véritables coûts écologiques des développements de l’IA.

De la course à la performance à la course à l’efficacité

L’architecture transformer, servant de base aux LLM, bien que très intéressante car elle permet de répartir les calculs sur plusieurs machines en parallèle et donc de mobiliser une quantité toujours plus grande de serveurs de calculs, a paradoxalement détourné l’attention des chercheurs vers une quête de la performance plutôt qu’une quête de l’efficacité.

Cette performance est estimée dans des compétitions appelées “benchmarks” en évaluant les réponses des LLM à des ensembles de questions dont les réponses sont connues. Dans divers critères de référence dans le domaine de l’IA, tels que la compréhension du langage naturel, la traduction ou des tâches spécifiques comme le raisonnement, la programmation ou les calculs mathématiques, les améliorations de performance se mesurent souvent en très faibles pourcentages. Les chercheurs peuvent chercher à augmenter leur score, même de manière marginale, pour gagner en notoriété, sans prendre en compte le coût associé.

Dans la communauté de la recherche en IA, il y a une course permanente aux premières places dans les classements, à la fois dans les milieux universitaires et industriels, ce qui pousse à développer des modèles toujours plus grands qui nécessitent une grande puissance de calcul.

Cela se traduit par une volonté d’améliorer les capacités des LLM qui implique une consommation d’énergie importante, à la fois dans la phase d’entraînement et pendant l’utilisation du modèle, ce qui peut entraîner des émissions de CO2 substantielles, en particulier lorsque l’énergie utilisée n’est pas renouvelable. Cela n’aboutit souvent qu’à des gains marginaux en termes de performance, alors qu’elle exige des ressources informatiques exponentiellement plus importantes.

Ces améliorations, bien qu’indicatives de progrès, montrent généralement que les nouveaux modèles ne dépassent leurs prédécesseurs que de quelques points dans des tâches spécifiques. Cependant, l’énergie requise pour ces améliorations progressives peut être disproportionnée.

Cette quête incessante de performances de pointe a suscité des inquiétudes quant à la durabilité de ces pratiques, ce qui a conduit à réclamer une approche plus équilibrée du développement de l’IA. L’intégration de considérations environnementales dans les critères d’évaluation de la recherche en IA fait l’objet d’un intérêt croissant. Des propositions suggèrent que des mesures évaluant l’impact carbone du développement et de l’exploitation des modèles d’IA devraient accompagner les critères de performance traditionnels dans les publications universitaires et au cours du processus de développement des modèles.

Cette approche d’évaluation intégrée mettrait en évidence non seulement l’efficience et l’efficacité, mais aussi le coût environnemental des avancées, encourageant ainsi le développement de technologies d’IA plus durables. De telles mesures pourraient contribuer à aligner le domaine de l’IA sur des objectifs environnementaux plus larges, en veillant à ce que les progrès de l’intelligence artificielle ne se fassent pas à un coût insoutenable pour la planète.

Vers une IA frugale

Pour répondre aux défis pressants posés par l’empreinte écologique des LLM, la communauté scientifique et industrielle explore activement une variété de solutions pour réduire leur impact sur l’environnement. Il faut avant tout se demander si l’on a réellement besoin d’un LLM pour répondre à un besoin ou si un système moins gourmand suffirait pour le cas d’usage.

Le passage à des centres de données alimentés par des sources d’énergie renouvelables et l’affinement des algorithmes d’apprentissage pour minimiser le nombre de cycles de calcul nécessaires sont des étapes cruciales vers la durabilité. L’une des voies prometteuses consiste à optimiser l’architecture de ces modèles afin d’améliorer leur efficacité énergétique sans compromettre leurs performances. Mis sur le marché à la hâte, ces systèmes n’ont pas été entièrement optimisés en termes de consommation d’énergie. Toutefois, si ce développement rapide avait été retardé en vue d’une optimisation, les investissements importants et les progrès observés aujourd’hui dans ce domaine n’auraient peut-être pas été aussi substantiels.

Les LLM présentent un immense potentiel dans un large éventail d’applications, mais leur développement soulève également des questions cruciales concernant leur durabilité à long terme, malgré des initiatives telles que AI For Good de l’Union Internationale des Télécommunications de l’Organisation des Nations Unies visant à atteindre des objectifs de développement durable en utilisant l’IA. En intégrant des considérations relatives à l’efficacité énergétique et à l’impact environnemental dès les premières étapes de la conception du modèle et tout au long du processus de déploiement, la communauté de l’IA peut contribuer à garantir que les avancées dans ce domaine sont à la fois innovantes et respectueuses de l’environnement.

Maintenant que nous disposons d’un cadre pour estimer les coûts environnementaux associés à ces modèles, le prochain article explorera diverses méthodologies et pratiques afin de les réduire.

À propos du DataLab

L’ILB Data Lab est une équipe d’ingénieurs data scientists, rodés aux problématiques de l’industrie financière, qui combine une expertise confirmée et des compétences techniques pour mener de bout en bout des projets de R&D en data science en développant des solutions de pointe.

Remerciements

Nous tenons tout particulièrement à remercier Iker TARDIO, Jérémy VILCOSQUI, Mohamed FARHAT, Gabriel LEVY et Louis BOULANGER pour leur implication dans cette série d’articles, aux côtés de Rafik MANKOUR, auteur de ces publications.