Hyperparamètres
En anglais : Hyperparameters
Réglages fixés par les concepteurs pour encadrer l’entraînement d’un modèle, comme le taux d’apprentissage, la taille des lots ou le nombre d’époques, et qui ne sont pas appris à partir des données.
Exemple
Avant d’affiner un modèle, une data scientist teste trois taux d’apprentissage sur un petit échantillon et retient celui qui fait baisser le plus régulièrement la perte de validation.
Notions liées
Descente de gradient
AvancéMéthode d’optimisation qui ajuste pas à pas les paramètres d’un modèle dans la direction qui fait le plus diminuer la fonction de perte, d’après la pente calculée localement.
Époque (epoch)
IntermédiairePassage complet de l’ensemble des données d’entraînement à travers un modèle pendant l’apprentissage, un entraînement pouvant en compter une seule ou plusieurs.
Fine-tuning (affinage)
IntermédiaireTechnique qui poursuit l’entraînement d’un modèle déjà pré-entraîné sur un jeu de données plus restreint, afin de modifier ses poids et de l’adapter à une tâche, un domaine ou un style.
Paramètres (poids)
IntermédiaireValeurs numériques internes d’un modèle d’IA, ajustées pendant l’entraînement, qui déterminent comment il transforme une entrée en sortie et stockent ce qu’il a appris.
Surapprentissage (overfitting)
IntermédiaireSituation où un modèle apprend trop fidèlement ses données d’entraînement, y compris leurs particularités et leur bruit, et perd sa capacité à bien fonctionner sur de nouvelles données.
Température
IntermédiaireParamètre de génération qui règle le degré d’aléa dans le choix des tokens : basse, elle rend les réponses plus prévisibles ; élevée, plus variées et surprenantes.