Rétropropagation (backpropagation)
En anglais : Backpropagation
Algorithme qui calcule efficacement, couche par couche en partant de la sortie, la contribution de chaque poids d’un réseau de neurones à l’erreur finale.
Exemple
À chaque étape d’entraînement d’un modèle de reconnaissance vocale, la rétropropagation calcule les gradients de tous les poids à partir de l’erreur de transcription, avant leur mise à jour.
Notions liées
Deep learning (apprentissage profond)
DébutantSous-domaine du machine learning qui utilise des réseaux de neurones comportant de nombreuses couches successives pour apprendre des représentations de plus en plus abstraites à partir de données brutes.
Descente de gradient
AvancéMéthode d’optimisation qui ajuste pas à pas les paramètres d’un modèle dans la direction qui fait le plus diminuer la fonction de perte, d’après la pente calculée localement.
Fonction de perte
AvancéFormule mathématique qui mesure l’écart entre les prédictions d’un modèle et les résultats attendus, et dont l’entraînement cherche à réduire la valeur au minimum.
Paramètres (poids)
IntermédiaireValeurs numériques internes d’un modèle d’IA, ajustées pendant l’entraînement, qui déterminent comment il transforme une entrée en sortie et stockent ce qu’il a appris.
Réseau de neurones
DébutantModèle mathématique composé de nombreuses unités de calcul simples, organisées en couches et reliées entre elles, dont les connexions sont ajustées pendant l’entraînement pour accomplir une tâche.