Kimi K3 : Moonshot AI entre en compétition avec OpenAI et Anthropic
Cette semaine, la startup chinoise Moonshot AI a lancé Kimi K3, un modèle de langage multimodal open weight doté de 2 800 milliards de paramètres et d’une fenêtre de contexte d’un million de tokens. Ce modèle devient ainsi le plus grand LLM open weight connu, surpassant DeepSeek V4 Pro, qui compte 1 600 milliards de paramètres. Moonshot AI affirme que Kimi K3 peut rivaliser avec des modèles tels que Fable 5, Opus 4.8, GPT-5.5 et GPT-5.6 Sol.
Kimi K3 repose sur une architecture utilisant la technique de « mixture of experts ». À l’inférence, il n’active que 16 de ses 896 experts, ce qui en fait un modèle efficient. Cette approche s’appuie sur une mise à jour d’une architecture proposée par Nvidia, appelée LatentMoE, optimisée pour le fonctionnement des GPU.
Une architecture fondée sur les travaux de Nvidia
L’architecture de Kimi K3 est conçue pour compresser les données d’entrée dans un espace latent réduit avant leur traitement par les experts. Cela permet de minimiser les mouvements de données et les ressources nécessaires pour le traitement. Moonshot AI a également adapté le routage des tokens et optimisé les fonctions d’attention pour stabiliser l’entraînement du modèle.
Kimi K3 utilise un mécanisme d’attention spécifique, avec des composants appelés Kimi Delta Attention (KDA) et Attention Residuals (AttnRes), qui visent à améliorer la circulation de l’information à travers le modèle.
Un mécanisme d’attention inspiré de l’architecture Mamba
Contrairement aux Transformers classiques, où chaque nouveau token doit recalculer son attention par rapport à tous les précédents, KDA remplace ce mécanisme par une attention linéaire basée sur une mémoire compressée, mise à jour à chaque token. Moonshot AI s’inspire des modèles à état de type Mamba, tout en conservant le schéma « requête-clé-valeur » des Transformers.
Performances et coûts
Kimi K3 obtient 57 points sur l’Intelligence Index, se plaçant juste derrière Claude Fable 5 et GPT-5.6 Sol, tout en surpassant Claude Opus 4.8 et GPT-5.5. Kimi K3 consomme 34 millions de tokens de moins que son prédécesseur, Kimi K2.6, pour atteindre cette performance. En termes de coût, Moonshot AI propose 3 dollars pour 1 million de tokens en entrée et 15 dollars pour le même volume en sortie.
Limitations et disponibilité
Actuellement, Kimi K3 est uniquement accessible via les API de Moonshot AI. Les poids du modèle seront libérés le 27 juillet prochain, mais son utilisation nécessite des ressources matérielles considérables, notamment 64 « accélérateurs » et environ 9 To de VRAM, limitant ainsi son accessibilité.
En outre, KDA n’est pas adapté à la méthode actuelle de mise en cache des préfixes, et Moonshot AI a dû proposer une implémentation spécifique. Les résultats obtenus par Artificial Analysis nécessitent d’être vérifiés sur d’autres infrastructures.
L’écart entre les modèles de pointe des laboratoires américains et chinois s’amenuise, tandis que les laboratoires européens se concentrent sur des modèles spécifiques, soulignant l’importance d’une compétition saine dans le domaine de l’IA.
Source : Le Mag IT
