Depuis le lancement ChatGPT par OpenAI fin 2022, l'intelligence artificielle a connu une croissance fulgurante et les startups comme les grands groupes high-tech bataillent dans une course à la puissance qui pourrait aboutir à une intelligence artificielle générale (AGI) plus maline que l'esprit humain à tous les niveaux...et qui pourrait être tout autant une bénédiction qu'une catastrophe pour l'humanité.
En attendant cette hypothétique émergence, les IA génératives doivent gagner en capacité de traitement, quitte à mobiliser d'immenses ressources (énergie, eau, semiconducteurs) et tout semble indiquer que l'on n'a encore rien vu.
Dario Amodei, CEO d'Anthropic, entreprise qui fait grandir l'IA Claude, a souligné dans un podcast que l'on n'est qu'au début des efforts d'amélioration des IA et que cela va nécessiter des investissements colossaux.
100 millions de dollars aujourd'hui, 100 milliards de dollars demain
Il cite pour exemple le concurrent GPT-4o, dernière évolution en date d'OpenAI, qui nécessite 100 millions de dollars pour son entraînement, représentant le coût des grands modèles d'IA actuellement.
Selon le dirigeant d'Anthropic, des modèles d'IA coûtant 1 milliard de dollars pour leur entraînement sont déjà en cours de développement, avec donc d'énormes marges de progression à attendre dans leurs capacités à interpréter les données qui leur sont fournies.
Et toujours d'après lui, des modèles d'IA coûtant de 10 milliards à 100 milliards de dollars pourraient faire leur apparition avant la fin de la décennie, suggérant implicitement que ces projets sont déjà au moins à l'étude.
Il suggère que, si ces projections de coûts sont alignées avec les progressions en matière d'algorithmique et d'évolution des composants, des AGI "meilleures que les la plupart des humains dans la plupart des domaines" pourront émerger autour de 2030.
Evidemment, avec des si, on peut imaginer beaucoup de choses mais Dario Amodei affirme que ce sont les ordres de grandeur qui se discutent déjà en interne. A noter également que selon lui, la singularité technologique, c'est à dire le point à partir duquel l'IA est censée surpasser l'esprit humain, ne sera pas un moment unique mais plutôt une progression graduelle s'appuyant sur les modèles antérieurs.
La croissance de l'IA va devoir se confronter aux limites du réel
L'une des questions sera de savoir si la production de composants IA pourra suivre alors que les entreprises s'arrachent déjà la production de Nvidia et des autres fournisseurs, avec des coûts de plusieurs dizaines de milliers de dollars l'unité qui, appliqués à des centaines de milliers de GPU intégrés dans des datacenters IA, peuvent effectivement aboutir à de très gros montants.
Il y a aussi le fait que les capacités de production des fondeurs ne sont pas infinies ne peuvent pas être totalement mobilisées uniquement pour les besoins de l'IA.
L'autre grande problématique est bien sûr celle de l'approvisionnement en énergie qui pose des problèmes grandissants et commence à entrer en compétition avec d'autres usages. Il faudra rapidement trouver des solutions. Le nucléaire semble retrouver des couleurs dans cette optique, en plus des efforts sur les énergies renouvelables.
