Contamination des benchmarks
En anglais : Benchmark contamination
Situation où des questions ou réponses d’un benchmark se retrouvent dans les données d’entraînement d’un modèle, ce qui gonfle artificiellement son score lors de l’évaluation.
Exemple
Un laboratoire constate qu’un modèle réussit très bien un test de mathématiques public, mais beaucoup moins bien une version reformulée des mêmes problèmes : un indice fort de contamination.
Notions liées
Benchmark (banc d’essai)
DébutantEnsemble standardisé de tâches et de questions, accompagné d’une méthode de notation, qui sert à mesurer et comparer les performances de différents modèles d’IA dans des conditions identiques.
Date de coupure des connaissances
DébutantDate au-delà de laquelle les données d’entraînement d’un modèle s’arrêtent, de sorte qu’il ignore par lui-même les événements, publications et évolutions survenus ensuite.
Données d’entraînement
DébutantEnsemble d’exemples, textes, images, sons ou tableaux, à partir desquels un modèle d’IA apprend à reconnaître des régularités et à produire des réponses.
Jeux de validation et de test
IntermédiairePortions de données mises de côté pendant l’entraînement, servant d’abord à régler le modèle (validation), puis à mesurer une seule fois sa performance finale sur des exemples jamais vus (test).
Surapprentissage (overfitting)
IntermédiaireSituation où un modèle apprend trop fidèlement ses données d’entraînement, y compris leurs particularités et leur bruit, et perd sa capacité à bien fonctionner sur de nouvelles données.