gensai.aiLa distillation est une technique où un grand modèle, dit enseignant, sert à entraîner un modèle plus petit, dit élève, à reproduire ses réponses. L'élève conserve l'essentiel des capacités de l'enseignant pour un coût d'exécution bien inférieur. DeepSeek a ainsi publié en 2025 des versions distillées de son modèle R1, basées sur Qwen et Llama.
En pratique chez Gensai
Les modèles distillés font partie des options étudiées par Gensai pour les déploiements On Premise, où la puissance de calcul disponible est limitée.
Dans le même thème
Définition rédigée avec l'assistance de l'IA, vérifiée par Sébastien Lecocq, co-fondateur de Gensai.
Aller plus loin que la définition ?
Passer du concept au projet : Gensai conçoit des solutions IA sur mesure, souveraines et conformes au RGPD.
Services associés : Chatbots et moteurs de réponses, IA vocale