La firme Cerebras s'est lancée dans la conception de puces sur wafer qui permettent de créer des composants dotés de centaines de milliers de coeurs.
Le Cerebras CS-2 dévoilé en août 2020 et finalisé au printemps dernier embarque ainsi 850 000 coeurs sur un carré de 21 cm de côté associé à 40 Go de mémoire SRAM avec l'avantage de pouvoir les faire travailler de concert pour les traitements d'intelligence artificielle sans les goulots d'étranglement habituels des systèmes classiques.
Allant plus loin dans la démarche, Cerebras annonce avoir relié 192 composants CS-2 reliés avec une interconnexion SwarmX et une mémoire partagée MemoryX pour constituer un système unique de pas moins de 162 millions de coeurs dédiés purement à l'IA !
Le système peut gérer jusqu'à 120 000 milliards de paramètres IA, soit potentiellement un plus grand nombre de connexions que les 100 000 milliards de synapses du cerveau humain.
L'ère de l'IA "Brain-Scale"
La ressemblance avec le cerveau s'arrête là puisque, doté de 20 Petaoctets de mémoire, le système requiert pas moins de 2,88 MW pour fonctionner. Evidemment, peu d'entreprises, d'institutions ou d'agences gouvernementales peuvent s'offrir un tel monstre de puissance pour gérer des modèles IA géants.
Cerebras n'en dit pas beaucoup à ce sujet, sinon qu'il existe une collaboration avec l'Argonne National Laboratory (spécialisé dans la recherche nucléaire) qui soutient les avancées de la firme depuis ses débuts.
La firme n'hésite pas pour sa part à évoquer l'ère des systèmes d'intelligence artificielle "Brain-Scale" (à l'échelle du cerveau humain) avec la capacité d'ouvrir des voies de recherche inédites.
