gensai.aiLe token est l'unité de texte que manipule un modèle de langage : un mot court, un fragment de mot, un signe de ponctuation. Le texte est découpé en tokens avant traitement ; la facturation des API, la taille de la fenêtre de contexte et la vitesse de génération se comptent en tokens.
En pratique chez Gensai
Gensai dimensionne ses architectures en tokens : découpage des documents pour le RAG, maîtrise des coûts d'API et de la latence.
Dans le même thème
LLM (Large Language Model)SLM (Small Language Model)DLLM (Diffusion Large Language Model)Hallucination (IA)Prompt chainingModèle préentraînéModèle de fondationIA générativeTransformerFenêtre de contextePromptPrompt engineeringContexte (IA)Mémoire (IA)Fine-tuningOpen-weightQuantizationDistillationLoRA (Low-Rank Adaptation)Mixture of Experts (MoE)Modèle de raisonnementTempérature (IA)
Aller plus loin que la définition ?
Passer du concept au projet : Gensai conçoit des solutions IA sur mesure, souveraines et conformes au RGPD.
55 boulevard de Strasbourg, 75010 Paris