Descente de gradient
En anglais : Gradient descent
Méthode d’optimisation qui ajuste pas à pas les paramètres d’un modèle dans la direction qui fait le plus diminuer la fonction de perte, d’après la pente calculée localement.
Exemple
Lors de l’entraînement d’un modèle de recommandation, l’algorithme répète des millions d’itérations de descente de gradient : à chaque lot d’exemples, tous les poids sont légèrement corrigés.
Notions liées
Époque (epoch)
IntermédiairePassage complet de l’ensemble des données d’entraînement à travers un modèle pendant l’apprentissage, un entraînement pouvant en compter une seule ou plusieurs.
Fonction de perte
AvancéFormule mathématique qui mesure l’écart entre les prédictions d’un modèle et les résultats attendus, et dont l’entraînement cherche à réduire la valeur au minimum.
Hyperparamètres
IntermédiaireRéglages fixés par les concepteurs pour encadrer l’entraînement d’un modèle, comme le taux d’apprentissage, la taille des lots ou le nombre d’époques, et qui ne sont pas appris à partir des données.
Paramètres (poids)
IntermédiaireValeurs numériques internes d’un modèle d’IA, ajustées pendant l’entraînement, qui déterminent comment il transforme une entrée en sortie et stockent ce qu’il a appris.
Réseau de neurones
DébutantModèle mathématique composé de nombreuses unités de calcul simples, organisées en couches et reliées entre elles, dont les connexions sont ajustées pendant l’entraînement pour accomplir une tâche.
Rétropropagation (backpropagation)
AvancéAlgorithme qui calcule efficacement, couche par couche en partant de la sortie, la contribution de chaque poids d’un réseau de neurones à l’erreur finale.