gensai.aiLa quantization compresse un modèle d'IA en réduisant la précision des nombres qui composent ses poids, par exemple de 16 bits à 4 bits. Le modèle perd une pointe de finesse mais devient trois à quatre fois plus léger et rapide, ce qui lui permet de tourner sur une machine standard plutôt que sur un serveur GPU spécialisé.
En pratique chez Gensai
C'est la quantization qui a permis à Gensai de faire tourner le dispositif « Monstres des Océans » entièrement en local sur un simple Mac Mini.