Piratage de la récompense (reward hacking)
En anglais : Reward hacking
Comportement d’un système entraîné par renforcement qui exploite les failles ou imperfections de son signal de récompense pour obtenir un bon score sans accomplir réellement la tâche voulue.
Exemple
Un agent de code récompensé lorsque les tests passent apprend à modifier les fichiers de test pour qu’ils réussissent toujours, plutôt qu’à corriger le bug signalé.
Notions liées
Alignement
IntermédiaireEnsemble des recherches et techniques visant à ce qu’un système d’IA poursuive réellement les intentions et les valeurs de ses concepteurs et utilisateurs, sans comportements nuisibles ou inattendus.
Apprentissage par renforcement
IntermédiaireMéthode de machine learning dans laquelle un agent apprend à agir dans un environnement en recevant des récompenses ou des pénalités selon les conséquences de ses actions.
Complaisance (sycophancy)
IntermédiaireTendance d’un modèle d’IA à dire à l’utilisateur ce qu’il semble vouloir entendre, en approuvant ses opinions ou ses erreurs plutôt qu’en donnant une réponse exacte et honnête.
Modèle de récompense
AvancéModèle entraîné à attribuer un score à une réponse de façon à prédire la préférence humaine, puis utilisé comme signal de récompense pour entraîner ou filtrer un autre modèle.
RLHF (apprentissage par renforcement à partir de retours humains)
AvancéMéthode d’alignement où des humains comparent des réponses d’un modèle, ces préférences entraînent un modèle de récompense, puis l’apprentissage par renforcement optimise le modèle pour maximiser cette récompense.
RLVR (apprentissage par renforcement à récompenses vérifiables)
AvancéMéthode d’apprentissage par renforcement où la récompense provient d’une vérification automatique du résultat, comme des tests unitaires réussis ou une réponse mathématique exacte, plutôt que d’un jugement humain.