gensai.aiUn modèle Mixture of Experts est découpé en nombreux sous-réseaux spécialisés, les experts. Pour chaque token, un routeur n'en active qu'une petite partie. Le modèle compte ainsi un très grand nombre de paramètres au total, mais n'en mobilise qu'une fraction à chaque calcul : DeepSeek-V3 en compte 671 milliards, dont 37 milliards actifs.
En pratique chez Gensai
L'architecture MoE de modèles comme Mixtral, DeepSeek ou Kimi est prise en compte par Gensai dans le choix d'un modèle open-weight, car elle change les besoins en mémoire et en vitesse.
Dans le même thème
Définition rédigée avec l'assistance de l'IA, vérifiée par Sébastien Lecocq, co-fondateur de Gensai.
Aller plus loin que la définition ?
Passer du concept au projet : Gensai conçoit des solutions IA sur mesure, souveraines et conformes au RGPD.
Services associés : Chatbots et moteurs de réponses, IA vocale