gensai.aiL'inférence est l'utilisation d'un modèle déjà entraîné : on lui soumet une entrée, il produit sa sortie. Chaque réponse d'un chatbot est une inférence. Son coût (latence, énergie, prix par token) est un critère central pour dimensionner une solution IA destinée à la production.
En pratique chez Gensai
Gensai optimise les coûts d'inférence en choisissant la taille de modèle adaptée, jusqu'à l'inférence 100 % locale du dispositif des Océans.
Aller plus loin que la définition ?
Passer du concept au projet : Gensai conçoit des solutions IA sur mesure, souveraines et conformes au RGPD.
55 boulevard de Strasbourg, 75010 Paris