Le GPU, ou processeur graphique, est une puce conçue pour exécuter des milliers de calculs en parallèle. Il est devenu indispensable pour entraîner et faire tourner les modèles d'IA. Sa mémoire, la VRAM, détermine la taille du modèle qu'il peut charger : en précision native, un modèle de 70 milliards de paramètres demande un serveur GPU dédié.
En pratique chez Gensai
Grâce à la quantization, Gensai fait tourner certains modèles sans serveur GPU, comme le dispositif « Monstres des Océans » sur un simple Mac Mini.
Dans le même thème
Définition rédigée avec l'assistance de l'IA, vérifiée par Sébastien Lecocq, co-fondateur de Gensai.
Aller plus loin que la définition ?
Passer du concept au projet : Gensai conçoit des solutions IA sur mesure, souveraines et conformes au RGPD.
Services associés : Solutions IA sur mesure