gensai.aiLa quantization compresse un modèle d'IA en réduisant la précision des nombres qui composent ses poids, par exemple de 16 bits à 4 bits. Le modèle perd une pointe de finesse mais devient environ quatre fois plus léger, et plus rapide, ce qui lui permet de tourner sur une machine standard plutôt que sur un serveur GPU spécialisé.
En pratique chez Gensai
C'est la quantization qui a permis à Gensai de faire tourner le dispositif « Monstres des Océans » entièrement en local sur un simple Mac Mini.
Dans le même thème
LLM (Large Language Model)SLM (Small Language Model)DLLM (Diffusion Large Language Model)Hallucination (IA)Prompt chainingModèle préentraînéModèle de fondationIA générativeTransformerTokenFenêtre de contextePromptPrompt engineeringContexte (IA)Mémoire (IA)Fine-tuningOpen-weightDistillationLoRA (Low-Rank Adaptation)Mixture of Experts (MoE)Modèle de raisonnementTempérature (IA)
Définition rédigée avec l'assistance de l'IA, vérifiée par Sébastien Lecocq, co-fondateur de Gensai.
Aller plus loin que la définition ?
Passer du concept au projet : Gensai conçoit des solutions IA sur mesure, souveraines et conformes au RGPD.
Services associés : Chatbots et moteurs de réponses, IA vocale
55 boulevard de Strasbourg, 75010 Paris