gensai.aiLe Transformer est l'architecture de réseau de neurones à l'origine des LLM actuels, introduite en 2017. Son mécanisme d'attention traite tous les mots d'un texte en parallèle en pesant leurs relations, là où les architectures précédentes lisaient séquentiellement. Le « T » de GPT, c'est lui.
En pratique chez Gensai
Tous les modèles que Gensai intègre (Mistral, Claude, GPT, Gemini) reposent sur des variantes de cette architecture.
Dans le même thème
LLM (Large Language Model)SLM (Small Language Model)DLLM (Diffusion Large Language Model)Hallucination (IA)Prompt chainingModèle préentraînéModèle de fondationIA générativeTokenFenêtre de contextePromptPrompt engineeringContexte (IA)Mémoire (IA)Fine-tuningOpen-weightQuantizationDistillationLoRA (Low-Rank Adaptation)Mixture of Experts (MoE)Modèle de raisonnementTempérature (IA)
Aller plus loin que la définition ?
Passer du concept au projet : Gensai conçoit des solutions IA sur mesure, souveraines et conformes au RGPD.
55 boulevard de Strasbourg, 75010 Paris