← Lexique IA

Évaluations (evals)

Méthodes & visibilité

Les évaluations, ou evals, sont des séries de tests qui mesurent la qualité des réponses d'un système d'IA : un jeu de questions représentatives, les réponses attendues et une méthode de notation, humaine ou automatique. Elles servent à comparer des modèles, à vérifier qu'une modification n'a rien dégradé et à suivre la qualité dans le temps. Sans évaluations, on juge une IA sur quelques essais et une impression.

En pratique chez Gensai

Pour mettre en place des évaluations, Gensai constitue un jeu de questions réelles avec les réponses attendues, rejoué à chaque changement de modèle, de consignes ou de documents.

Quand mettre en place des évaluations ?

Dès le prototype, avec quelques dizaines de vraies questions et leurs bonnes réponses, puis à chaque changement de modèle, de consignes ou de documents. Les critères doivent refléter ce qui compte pour le métier : réponse juste, source citée, refus quand l'information manque.

Erreur fréquente

Se fier aux classements publics des modèles. Un modèle en tête des benchmarks peut faire moins bien sur vos documents et vos questions : seule une évaluation sur vos propres cas dit lequel choisir.

Définition rédigée avec l'assistance de l'IA, vérifiée par Sébastien Lecocq, co-fondateur de Gensai.

Aller plus loin que la définition ?

Passer du concept au projet : Gensai conçoit des solutions IA sur mesure, souveraines et conformes au RGPD.

Services associés : Solutions IA sur mesure

55 boulevard de Strasbourg, 75010 Paris
Informations utilisées uniquement pour répondre à la demande.