L’arrivée fracassante de DeepSeek R1 a secoué le paysage mondial de l’intelligence artificielle en prenant à contre-pied l'exemple américain et ses dizaines de milliards de dollars dépensés en infrastructures.
La startup chinoise révèle avoir entraîné son modèle d'IA DeepSeek R1 pour une fraction du coût affiché par ses homologues occidentaux. Mais comment DeepSeek a-t-elle réussi à entraîner une IA aussi avancée, qui rivalise avec les références américaines, avec quelques centaines de milliers de dollars seulement ?
Un coût d’entraînement défiant toute concurrence
Le modèle DeepSeel R1 aurait été entraîné grâce à 512 puces Nvidia H800 pour un montant révélé de 294 000 dollars, loin des milliards dépensés pour les systèmes de sociétés comme OpenAI ou Google.
DeepSeek a publié ces chiffres dans un article dans Nature, en voulant jouer la transparence sur les coûts et la technique utilisée pour la formation du modèle. L’IA a été principalement entraînée sur des puces Nvidia H800 conçues pour le marché chinois alors que les versions plus puissantes H100 sont soumises à des restrictions américaines.
La comparaison est saisissante : Sam Altman, CEO d’OpenAI, évoquait des coûts bien supérieurs à 100 millions de dollars pour des modèles de la même catégorie. Quand DeepSeek R1 a été lancée au moment où les géants américains de l'IA annonçait des milliards de dollars d'investissement, le coup a été rude et a fait plonger les valeurs en Bourse du secteur...tout en redonnant espoir aux entreprises face aux investissements écrasants des USA.
Des choix techniques novateurs : l’apprentissage par renforcement au cœur de R1
Pour concevoir le modèle d'IA R1, la start-up a privilégié une méthode d’apprentissage par renforcement pur, une approche où l’IA se perfectionne seule via un système de récompenses attribuées à chaque tâche réussie.
Ce mode d’entraînement limite le recours à la reproduction des raisonnements humains et favorise l’émergence de méthodes de calcul originales. Cette technique a rapidement été identifiée comme l'un des moteurs des performances de l'IA chinoise par rapport aux modèles d'IA occidentaux.
Dans le processus, R1 auto-évaluait la qualité de ses réponses, accélérant encore l’efficacité du développement. La rigueur scientifique de la démarche a été saluée par les chercheurs et la communauté scientifique qui voyaient, pour la première fois, un LLM majeur soumis à l’examen par les pairs du fait de l'ouverture de son modèle quand beaucoup des modèles d'IA des géants de l'IA restent fermés.
Controverse sur la transparence et les données utilisées
Si la société affirme que R1 n’a pas utilisé d’exemples générés par d’autres IA (comme celles d’OpenAI) selon le principe de distillation, elle admet que le modèle de base a été formé avec des données issues du web, lesquelles incluent certaines traces de contenus générés par des modèles d'intelligence artificielle occidentaux.
Les chercheurs occidentaux restent prudents, mais reconnaissent que “la recette” de DeepSeek repose davantage sur l’apprentissage par renforcement que sur l’exploitation massive de données produites par des concurrents.
Un modèle open source qui inspire déjà la communauté mondiale
Le succès de DeepSeek R1 ne se limite pas à la sphère chinoise. Son influence est palpable chez les chercheurs spécialistes du traitement automatique des langues (NLP) et du raisonnement, qui notent une accélération des expérimentations en apprentissage par renforcement dans le secteur.
Sans être la plus performante, l'IA chinoise reste imbattable sur le rapport coût-efficacité. L’équipe DeepSeek a ainsi démontré qu’une innovation ouverte et méthodique, même moins dotée en moyens financiers, peut rivaliser avec les ténors du moment.
De nombreux laboratoires tentent désormais d’appliquer la méthode DeepSeek pour booster le raisonnement de modèles existants ou explorer de nouveaux domaines de l’IA tandis que des spécialistes appellent les autres groupes à appliquer à leur tour la transparence scientifique et la démarche de publication peer-reviewed initiée par DeepSeek.
