L'intelligence artificielle s'est invitée dans les smartphones et les PC pour réaliser toutes sortes de tâches mais elle nécessite un environnement et des composants dédiés sous la forme de NPU (Neural Processing Units) qui complexifient le fonctionnement et augmentent le coût.
Les chercheurs de Microsoft ont imaginé une solution qui permettrait de faire tourner une IA miniature mais très efficiente directement sur le CPU, sans avoir besoin de puces spécialisées.
Ils ont développé un LLM (Large Language Model) de 1-bit, ou bitnet, présenté comme l'un des plus avancés à ce jour. BitNet b1.58 2B4T, c'est son petit nom, est capable de gérer 2 milliards de paramètres et a été entraîné sur un ensemble de 4000 milliards de tokens (d'où le "2B4T").
Bitnet, au plus simple mais avec efficience
Les bitnets fonctionnent comme des modèles d'IA simplifiés destinés à tourner sur du matériel peu puissant. Sur un modèle 1-bit, trois valeurs seulement sont soupesées : -1, 0 ou +1, ce qui permet un traitement demandant beaucoup moins de ressources que des modèles utilisant des calculs en virgule flottante sur 16 ou 32-bit.
La contrepartie est que ces modèles d'IA sont généralement moins précis que des versions plus riches. Microsoft a donc en partie contrebalancé cette faiblesse par une entraînement sur d'imposants jeux de données, ici l'équivalent de 33 millions de livres, indique le site TechCrunch.
Microsoft affirme que son modèle d'IA BitNet b1.58 2B4T offre des performances supérieures à celles de modèles aux caractéristiques similaires et qu'il peut tourner sur un CPU, dont le processeur Apple M2, sans avoir besoin de composants spécialisés.
Moins de ressources, moins de consommation d'énergie
Sa configuration lui permet de surpasser dans certains benchmarks des modèles comme Llama 3.2 1B (Meta), Gemma 3 1B (Google) ou Qwen 2.51.5B (Alibaba), avec une empreinte de seulement 400 Mo et une capacité de traitement jusqu'à deux fois plus rapide.
TechCrunch note toutefois que le LLM de Microsoft doit disposer de l'environnement bitnet.cpp pour fonctionner efficacement, les environnements standard ne permettant pas d'en tirer le meilleur parti. Il faudra donc le récupérer sur Github et l'installer avant de pouvoir exprimer le potentiel de BitNet b1.58 2B4T, récupérable sur la plateforme Hugging Face.
Un tel modèle léger et peu gourmand pourrait être bien adapté à des appareils ne disposant pas de grosses ressources matérielles ou pour réduire la consommation d'énergie et par extension, prolonger l'autonomie d'appareils portables.