Meta annonce Llama 4 (Large Language Model Meta AI) et introduit trois premiers modèles Llama 4 Scout, Llama 4 Maverick et Llama 4 Behemoth (preview).
« Ces modèles représentent le meilleur de Llama, offrant une intelligence multimodale à prix attractif, tout en surpassant les modèles de tailles nettement supérieures », écrit Meta en soulignant l'adoption de plusieurs nouvelles approches lors de la phase de pré-entraînement.
Avec Llama 4, Meta bascule sur une architecture MoE (Mixture of Experts). Elle améliore l'efficacité pour l'entraînement et l'inférence en déléguant les tâches de traitement de données à des modèles experts plus petits et spécialisés.
Llama 4 Scout et Llama 4 Maverick pour commencer
Llama 4 Scout est un modèle plus petit qui peut fonctionner sur un seul GPU Nvidia H100, avec 17 milliards de paramètres actifs (sur un total de 109 milliards) parmi 16 experts, une fenêtre contextuelle de 10 millions de tokens. Sur une large gamme de benchmarks, Meta met en avant des résultats supérieurs à ceux de Gemma 3, Gemini 2.0 Flash-Lite et Mistral 3.1.
Pour Llama 4 Maverick, c'est un modèle de 17 milliards de paramètres actifs (sur un total de 400 milliards de paramètres) avec 128 experts. Meta l'intronise meilleur modèle multimodal de sa catégorie en surpassant GPT-4o et Gemini 2.0 Flash, tout en obtenant des résultats comparables à ceux de DeepSeek v3 sur le raisonnement et le codage, mais avec moins de la moitié des paramètres activés.
Encore en développement, Llama 4 Behemoth est le modèle le plus puissant de 288 milliards de paramètres actifs avec 16 experts, et un total de 2 000 milliards de paramètres. Llama 4 Behemoth a servi à l'entraînement de Llama 4 Maverick par distillation. Il surpasse GPT-4.5, Claude Sonnet 3.7 et Gemini 2.0 Pro en sciences, technologie, ingénierie et mathématiques.
Llama 4 pour Meta AI
Outre le téléchargement des modèles Llama 4 Scout et Llama Maverick sur llama.com et Hugging Face, Meta invite à essayer Meta AI s'appuyant sur Llama 4 pour WhatsApp, Messenger, Instagram Direct et sur le site web Meta.AI.
Selon TechCrunch, le déploiement de Llama 4 ne concerne toutefois pas tous les pays. En outre, les fonctionnalités multimodales sont pour le moment réservées aux États-Unis (anglais).
