Benchmark (banc d’essai)
En anglais : Benchmark
Ensemble standardisé de tâches et de questions, accompagné d’une méthode de notation, qui sert à mesurer et comparer les performances de différents modèles d’IA dans des conditions identiques.
Exemple
Avant de choisir un modèle pour générer du code, une équipe consulte les résultats publiés sur des benchmarks de programmation comme HumanEval, puis les vérifie sur un échantillon de ses propres tickets.
Notions liées
Contamination des benchmarks
AvancéSituation où des questions ou réponses d’un benchmark se retrouvent dans les données d’entraînement d’un modèle, ce qui gonfle artificiellement son score lors de l’évaluation.
Évals (évaluation de modèles)
IntermédiaireEnsemble de tests conçus pour mesurer de façon systématique la qualité, la fiabilité et la sécurité des réponses d’un modèle ou d’une application d’IA sur des tâches précises.
Jeux de validation et de test
IntermédiairePortions de données mises de côté pendant l’entraînement, servant d’abord à régler le modèle (validation), puis à mesurer une seule fois sa performance finale sur des exemples jamais vus (test).
LLM juge (LLM-as-a-judge)
AvancéMéthode d’évaluation qui confie à un grand modèle de langage le soin de noter ou de comparer les réponses produites par un autre système d’IA, selon des critères écrits.
Précision et rappel
AvancéPaire de mesures d’évaluation : la précision indique la part des éléments signalés qui sont réellement pertinents, le rappel la part des éléments pertinents que le système a effectivement retrouvés.