gensai.aiLoRA est une méthode de fine-tuning léger. Au lieu de modifier les milliards de poids d'un modèle, elle entraîne de petites matrices additionnelles, des adaptateurs de quelques mégaoctets, qui s'ajoutent au modèle d'origine sans le toucher. Un même modèle peut ainsi être spécialisé pour plusieurs usages, à un coût de calcul fortement réduit.
En pratique chez Gensai
LoRA est l'option privilégiée par Gensai quand un modèle open-weight doit adopter le vocabulaire ou le ton d'un métier, sans repartir d'un entraînement complet.
Dans le même thème
LLM (Large Language Model)SLM (Small Language Model)DLLM (Diffusion Large Language Model)Hallucination (IA)Prompt chainingModèle préentraînéModèle de fondationIA générativeTransformerTokenFenêtre de contextePromptPrompt engineeringContexte (IA)Mémoire (IA)Fine-tuningOpen-weightQuantizationDistillationMixture of Experts (MoE)Modèle de raisonnementTempérature (IA)