Apprentissage par renforcement
En anglais : Reinforcement Learning (RL)
Méthode de machine learning dans laquelle un agent apprend à agir dans un environnement en recevant des récompenses ou des pénalités selon les conséquences de ses actions.
Exemple
Un entrepôt automatisé entraîne par renforcement, d’abord en simulation, des robots qui apprennent les trajets les plus efficaces pour préparer les commandes.
Notions liées
Agent IA
DébutantSystème qui utilise un modèle d’IA pour poursuivre un objectif de manière largement autonome, en planifiant des étapes, en utilisant des outils et en adaptant son action aux résultats obtenus.
Machine learning (apprentissage automatique)
DébutantBranche de l’intelligence artificielle dans laquelle un programme apprend à accomplir une tâche à partir d’exemples, au lieu de suivre des règles entièrement écrites par un développeur.
Modèle de récompense
AvancéModèle entraîné à attribuer un score à une réponse de façon à prédire la préférence humaine, puis utilisé comme signal de récompense pour entraîner ou filtrer un autre modèle.
Piratage de la récompense (reward hacking)
AvancéComportement d’un système entraîné par renforcement qui exploite les failles ou imperfections de son signal de récompense pour obtenir un bon score sans accomplir réellement la tâche voulue.
RLHF (apprentissage par renforcement à partir de retours humains)
AvancéMéthode d’alignement où des humains comparent des réponses d’un modèle, ces préférences entraînent un modèle de récompense, puis l’apprentissage par renforcement optimise le modèle pour maximiser cette récompense.
RLVR (apprentissage par renforcement à récompenses vérifiables)
AvancéMéthode d’apprentissage par renforcement où la récompense provient d’une vérification automatique du résultat, comme des tests unitaires réussis ou une réponse mathématique exacte, plutôt que d’un jugement humain.