RLVR (apprentissage par renforcement à récompenses vérifiables)
En anglais : Reinforcement Learning with Verifiable Rewards
Méthode d’apprentissage par renforcement où la récompense provient d’une vérification automatique du résultat, comme des tests unitaires réussis ou une réponse mathématique exacte, plutôt que d’un jugement humain.
Exemple
Un laboratoire entraîne un modèle sur des milliers d’exercices de programmation : chaque solution proposée est exécutée contre des tests unitaires, et seules celles qui les réussissent sont récompensées.
Notions liées
Apprentissage par renforcement
IntermédiaireMéthode de machine learning dans laquelle un agent apprend à agir dans un environnement en recevant des récompenses ou des pénalités selon les conséquences de ses actions.
Chaîne de pensée (chain of thought)
IntermédiaireTechnique qui amène un modèle de langage à expliciter des étapes de raisonnement intermédiaires avant sa réponse finale, ce qui améliore souvent les résultats sur les problèmes à plusieurs étapes.
Modèle de raisonnement
IntermédiaireModèle de langage entraîné à produire un raisonnement intermédiaire, souvent appelé réflexion ou thinking, avant de formuler sa réponse finale, afin de mieux traiter les problèmes complexes.
Modèle de récompense
AvancéModèle entraîné à attribuer un score à une réponse de façon à prédire la préférence humaine, puis utilisé comme signal de récompense pour entraîner ou filtrer un autre modèle.
Piratage de la récompense (reward hacking)
AvancéComportement d’un système entraîné par renforcement qui exploite les failles ou imperfections de son signal de récompense pour obtenir un bon score sans accomplir réellement la tâche voulue.
RLHF (apprentissage par renforcement à partir de retours humains)
AvancéMéthode d’alignement où des humains comparent des réponses d’un modèle, ces préférences entraînent un modèle de récompense, puis l’apprentissage par renforcement optimise le modèle pour maximiser cette récompense.