Surapprentissage (overfitting)
En anglais : Overfitting
Situation où un modèle apprend trop fidèlement ses données d’entraînement, y compris leurs particularités et leur bruit, et perd sa capacité à bien fonctionner sur de nouvelles données.
Exemple
Un modèle de prévision des ventes entraîné sur seulement deux ans d’historique reproduit parfaitement ces années passées mais se trompe fortement sur le trimestre suivant.
Notions liées
Contamination des benchmarks
AvancéSituation où des questions ou réponses d’un benchmark se retrouvent dans les données d’entraînement d’un modèle, ce qui gonfle artificiellement son score lors de l’évaluation.
Données d’entraînement
DébutantEnsemble d’exemples, textes, images, sons ou tableaux, à partir desquels un modèle d’IA apprend à reconnaître des régularités et à produire des réponses.
Époque (epoch)
IntermédiairePassage complet de l’ensemble des données d’entraînement à travers un modèle pendant l’apprentissage, un entraînement pouvant en compter une seule ou plusieurs.
Fonction de perte
AvancéFormule mathématique qui mesure l’écart entre les prédictions d’un modèle et les résultats attendus, et dont l’entraînement cherche à réduire la valeur au minimum.
Hyperparamètres
IntermédiaireRéglages fixés par les concepteurs pour encadrer l’entraînement d’un modèle, comme le taux d’apprentissage, la taille des lots ou le nombre d’époques, et qui ne sont pas appris à partir des données.
Jeux de validation et de test
IntermédiairePortions de données mises de côté pendant l’entraînement, servant d’abord à régler le modèle (validation), puis à mesurer une seule fois sa performance finale sur des exemples jamais vus (test).