Fin décembre et alors que ChatGPT atteignait son premier million d'utilisateurs (un chiffre qui a explosé depuis), Sam Altman, le patron d'OpenAI, avait évoqué les coûts de calcul exorbitants pour le fonctionnement d'une telle technologie d'IA générative.
À l'époque, c'était une manière de préparer les esprits à l'arrivée d'un abonnement payant ChatGPT Plus. En rappelant que l'agent conversationnel ChatGPT est une vitrine du modèle de langage Generative Pre-trained Transformer d'OpenAI dans le domaine de l'intelligence artificielle et du machine learning.
Par la suite, Microsoft a annoncé un investissement de plusieurs milliards de dollars dans OpenAI au cours des prochaines années. Si le montant n'a pas été officiellement dévoilé, il serait à hauteur de 10 milliards de dollars.
Environ 700 000 dollars par jour pour ChatGPT
Selon des analystes du cabinet SemiAnalysis spécialisé dans le domaine des puces, le coût de fonctionnement de ChatGPT est estimé à près de 695 000 dollars par jour en matière de matériel informatique.
Une telle estimation se base sur un coût par requête à 0,36 $ et quelque 29 000 processeurs graphiques avec plus de 3 600 serveurs HGX A100. La plateforme HGX de Nvidia s'appuie sur des GPU A100 Tensor Core.
Par ailleurs, le coût aurait sensiblement augmenté en tenant compte du passage du modèle de langage GPT-3 (ou sa version optimisée GPT-3.5) à GPT-4. Pour le cas de ChatGPT, GPT-4 demeure réservé à l'abonnement payant de ChatGPT, mais GPT-4 est utilisé pour le chatbot d'IA du nouveau Bing de Microsoft.
Un sujet de préoccupation pour Microsoft
Dans le cadre d'une exploitation pour un moteur de recherche, la facture est susceptible d'être encore bien plus importante. C'est notamment ce qui pousserait Microsoft à développer ses propres puces d'IA pour de grands modèles de langage et éviter une dépendance onéreuse vis-à-vis de Nvidia.
The Information évoque une puce de Microsoft au nom de code Athena et qui serait déjà testée en interne. Sans nécessairement remplacer directement les puces de Nvidia, la puce Athena pourrait être déployée pour les services et la plateforme Azure AI dès l'année prochaine.
