Évals (évaluation de modèles)
En anglais : Evals
Ensemble de tests conçus pour mesurer de façon systématique la qualité, la fiabilité et la sécurité des réponses d’un modèle ou d’une application d’IA sur des tâches précises.
Exemple
Une entreprise qui déploie un assistant de support client fait tourner chaque nuit 500 questions réelles anonymisées pour vérifier que la nouvelle version du prompt ne fait pas baisser le taux de bonnes réponses.
Notions liées
Benchmark (banc d’essai)
DébutantEnsemble standardisé de tâches et de questions, accompagné d’une méthode de notation, qui sert à mesurer et comparer les performances de différents modèles d’IA dans des conditions identiques.
Jeux de validation et de test
IntermédiairePortions de données mises de côté pendant l’entraînement, servant d’abord à régler le modèle (validation), puis à mesurer une seule fois sa performance finale sur des exemples jamais vus (test).
LLM juge (LLM-as-a-judge)
AvancéMéthode d’évaluation qui confie à un grand modèle de langage le soin de noter ou de comparer les réponses produites par un autre système d’IA, selon des critères écrits.
MLOps / LLMOps
AvancéEnsemble de pratiques et d’outils qui industrialisent le cycle de vie des modèles d’IA, du développement au déploiement, puis à la surveillance et à la mise à jour en production.
Red teaming
IntermédiairePratique de test qui consiste à attaquer volontairement un système d’IA, comme le ferait un adversaire, afin de découvrir ses failles de sécurité et ses comportements indésirables avant les utilisateurs malveillants.