gensai.aiLa distillation est une technique où un grand modèle, dit enseignant, sert à entraîner un modèle plus petit, dit élève, à reproduire ses réponses. L'élève conserve l'essentiel des capacités de l'enseignant pour un coût d'exécution bien inférieur. DeepSeek a ainsi publié en 2025 des versions distillées de son modèle R1, basées sur Qwen et Llama.
En pratique chez Gensai
Les modèles distillés font partie des options étudiées par Gensai pour les déploiements On Premise, où la puissance de calcul disponible est limitée.
Dans le même thème
LLM (Large Language Model)SLM (Small Language Model)DLLM (Diffusion Large Language Model)Hallucination (IA)Prompt chainingModèle préentraînéModèle de fondationIA générativeTransformerTokenFenêtre de contextePromptPrompt engineeringContexte (IA)Mémoire (IA)Fine-tuningOpen-weightQuantizationLoRA (Low-Rank Adaptation)Mixture of Experts (MoE)Modèle de raisonnementTempérature (IA)