ChatGPT, Bard, Llama : les « large language models » sont partout : dans les médias, dans nos outils numériques professionnels et quotidiens. Avec leur installation dans notre quotidien (professionnel du moins), ces IA posent la question de leur impact sur l’environnement : consommation d’énergies fossiles, d’eau, émissions de gaz à effet de serre. On essaie de faire le point pour vous.
Entraînement ou usage final : qu’est-ce qui pollue le plus ?
D’après les estimations de Bloomberg, la mise à jour d’un simple modèle d’IA pourrait consommer l’équivalent de 100 foyers américains sur un an. Une estimation qui grossit d’année en année.
Les Numériques
Un grand flou (artistique ?)
En effet, plus un modèle utilise de variables, plus son entraînement est consommateur en ressources (serveurs, etc.). Et les modèles doivent être mis à jour régulièrement, pour être « au courant » des dernières événements mondiaux, par exemple. Des chercheurs en informatique les appellent même des « mégamodèles » :
Les « mégamodèles » de l’apprentissage statistique, ces logiciels dont l’entraînement nécessite l’ajustement de milliards de paramètres sur des milliards de documents, ont révolutionné le traitement automatique des langues.
Le Monde
L’apprentissage du modèle GPT-3, programme d’IA à usage général, aurait consommé 1287 gigawattheures, selon un document de recherche publié en 2021, soit à peu près autant d’électricité que 120 foyers américains sur une année. Cette formation aurait aussi généré 502 tonnes d’émissions de carbone, autant que 110 voitures américaines en émettent en un an. Selon les chercheurs, cet apprentissage initial ne représenterait qu’environ 40 % de l’énergie consommée par les modèles.
Les Numériques
Mais les chiffres bruts sont difficiles à analyser. Essayons donc les ordres de grandeur ! Alors, l’entraînement complet d’un LLM ? 1,8 % du coût complet d’un vol aller-retour entre San Francisco et New York (Université de Berkeley et Google, 2022) ou 5 fois le cycle de vie complet d’une voiture (Université du Massachussets, 2019) ?
Ou encore :
En 2020, trois chercheurs du département d’informatique de l’Université de Copenhague, Lasse F. Wolff Anthony, Benjamin Kanding et Raghavendra Selvan, ont mis au point un logiciel, Carbontracker, permettant de calculer la consommation énergétique et les émissions de GES de l’entraînement d’une IA. Leurs principales découvertes ?
La Presse
Une séance d’entraînement pour ChatGPT-3 équivaut à la consommation d’électricité de 126 maisons danoises en un an.
La quantité de CO2 émise équivaut à 700 000 km de conduite automobile.
On s’y perd, non ? Et encore, là, on ne parle que de CO2, ce qui n’épuise pas le sujet. Vous en reprendrez bien une part ?
L’article « Making AI Less « Thirsty »: Uncovering and Addressing the Secret Water Footprint of AI Models » (pre print) de Shaolei Ren et ses collègues, qui ont montré que l’entraînement de ChatGPT3 dans les data centers de Microsoft avait nécessité 700 000 litres d’eau. Et d’ajouter qu’une vingtaine de questions échangées avec l’IA génératives équivaudraient à 500ml d’eau.
Irénée Régnauld
Ce qui est certain, c’est que toute activité informatique à grande échelle implique une grande consommation d’énergie. Mais…
Va-t-on atteindre un « plateau » ?
C’est la thèse avancée par l’étude de l’Université de Berkeley mentionnée plus haut : l’entraînement des IA va atteindre un plateau, puis diminuer, réduisant ainsi son empreinte écologique. L’explication ? La maturité de ces IA permettrait d’optimiser leur fonctionnement et de gagner en performance. Concrètement ? Les chercheurs seraient capables d’entraîner les LLM sur des bases de données plus petites. Les datacentres devraient aussi optimiser leur consommation d’énergie.
Et à l’usage ?
De nombreux appareils compatibles avec l’IA, tels que les smartphones, les voitures autonomes, les drones et les robots, nécessitent également des capacités de traitement élevées qui consomment beaucoup d’énergie.
La Revue IA
Une étude récente affirme qu’une IA qui rédige un texte émet 130 à 1500 fois moins de CO2 qu’un humain qui effectue la même tâche. Pour la génération d’images, l’IA serait 310 à 2900 fois plus économe en émissions de carbone. Mais cette étude ne tient pas compte des effets rebonds que cette économie peut générer. Concrètement, ça fait référence à l’accroissement de la demande (d’IA) provoqué par la réduction des limites posées à l’usage d’une technologie (sa disponibilité, dans le cas qui nous concerne). Et d’ailleurs :
Depuis le lancement de ChatGPT en novembre dernier, les recherches sur l’intelligence artificielle ont grimpé de 1 700 %, selon Indusface, spécialisé dans la sécurité des applications web.
The media leader
Ce qui représente 100 millions d’utilisateurs dans le monde, rien que ça !
D’ailleurs, la demande en énergie des datacentres continue à grossir (l’internet est aussi physique : ces installations assurent le stockage, le traitement et la gestion des données). Avec trois conséquences :
- l’accentuation de la dépendance aux combustibles fossiles
- la consommation d’eau
- les émissions de gaz à effet de serre.
En effet, les datacentres consomment beaucoup d’énergie, notamment pour leur climatisation. Et l’électricité dont ils ont besoin pour fonctionner provient souvent de combustibles non-renouvelables. Si ces infrastructures ne traitent pas que de l’intelligence artificielle, cette dernière est très gourmande en puissance de calcul, donc en énergie. Idem, d’ailleurs, pour les terminaux des utilisateurs (smartphones, ordinateurs, etc.).
Parmi les pistes explorées pour réduire l’impact environnemental des IA, l’optimisation de ses algorithmes figure en bonne place. Pour réduire les coûts, la virtualisation semble être une option prometteuse. Cela consiste à attribuer les caractéristiques d’une machine physique à une (ou plusieurs) machine(s) virtuelle(s), pour faire fonctionner différents systèmes sur un unique serveur.
Côté matériel, l’utilisation d’énergies renouvelables et la mise au point de systèmes de refroidissement plus performants sont à l’étude.
En conclusion, soulignons qu’à défaut de pouvoir chiffrer précisément la consommation en ressources de l’intelligence artificielle (IA), le secteur professionnel le plus utilisateur des LLM est… la publicité ! Peut-être que sobriété bien ordonnée commence par soi-même ?
