Jeux de validation et de test
En anglais : Validation and test sets
Portions de données mises de côté pendant l’entraînement, servant d’abord à régler le modèle (validation), puis à mesurer une seule fois sa performance finale sur des exemples jamais vus (test).
Exemple
Pour un modèle de détection de fraude, une banque garde 70 % des transactions historiques pour l’entraînement, 15 % pour la validation et 15 % pour le test final, en séparant aussi les périodes de temps.
Notions liées
Benchmark (banc d’essai)
DébutantEnsemble standardisé de tâches et de questions, accompagné d’une méthode de notation, qui sert à mesurer et comparer les performances de différents modèles d’IA dans des conditions identiques.
Contamination des benchmarks
AvancéSituation où des questions ou réponses d’un benchmark se retrouvent dans les données d’entraînement d’un modèle, ce qui gonfle artificiellement son score lors de l’évaluation.
Données d’entraînement
DébutantEnsemble d’exemples, textes, images, sons ou tableaux, à partir desquels un modèle d’IA apprend à reconnaître des régularités et à produire des réponses.
Hyperparamètres
IntermédiaireRéglages fixés par les concepteurs pour encadrer l’entraînement d’un modèle, comme le taux d’apprentissage, la taille des lots ou le nombre d’époques, et qui ne sont pas appris à partir des données.
Surapprentissage (overfitting)
IntermédiaireSituation où un modèle apprend trop fidèlement ses données d’entraînement, y compris leurs particularités et leur bruit, et perd sa capacité à bien fonctionner sur de nouvelles données.