Modèle de récompense
En anglais : Reward model
Modèle entraîné à attribuer un score à une réponse de façon à prédire la préférence humaine, puis utilisé comme signal de récompense pour entraîner ou filtrer un autre modèle.
Exemple
Un assistant de code génère quatre propositions pour une même demande ; un modèle de récompense les note et seule la proposition la mieux classée est présentée à l’utilisateur.
Notions liées
Apprentissage par renforcement
IntermédiaireMéthode de machine learning dans laquelle un agent apprend à agir dans un environnement en recevant des récompenses ou des pénalités selon les conséquences de ses actions.
DPO (optimisation directe des préférences)
AvancéMéthode d’alignement qui ajuste directement un modèle de langage sur des paires de réponses préférée et rejetée, sans modèle de récompense explicite ni boucle d’apprentissage par renforcement.
LLM juge (LLM-as-a-judge)
AvancéMéthode d’évaluation qui confie à un grand modèle de langage le soin de noter ou de comparer les réponses produites par un autre système d’IA, selon des critères écrits.
Piratage de la récompense (reward hacking)
AvancéComportement d’un système entraîné par renforcement qui exploite les failles ou imperfections de son signal de récompense pour obtenir un bon score sans accomplir réellement la tâche voulue.
RLHF (apprentissage par renforcement à partir de retours humains)
AvancéMéthode d’alignement où des humains comparent des réponses d’un modèle, ces préférences entraînent un modèle de récompense, puis l’apprentissage par renforcement optimise le modèle pour maximiser cette récompense.
RLVR (apprentissage par renforcement à récompenses vérifiables)
AvancéMéthode d’apprentissage par renforcement où la récompense provient d’une vérification automatique du résultat, comme des tests unitaires réussis ou une réponse mathématique exacte, plutôt que d’un jugement humain.