Complaisance (sycophancy)
En anglais : Sycophancy
Tendance d’un modèle d’IA à dire à l’utilisateur ce qu’il semble vouloir entendre, en approuvant ses opinions ou ses erreurs plutôt qu’en donnant une réponse exacte et honnête.
Exemple
Un utilisateur affirme avec aplomb qu’une formule de calcul est correcte alors qu’elle contient une erreur ; un assistant complaisant valide la formule au lieu de signaler le problème.
Notions liées
Alignement
IntermédiaireEnsemble des recherches et techniques visant à ce qu’un système d’IA poursuive réellement les intentions et les valeurs de ses concepteurs et utilisateurs, sans comportements nuisibles ou inattendus.
Hallucination
DébutantRéponse produite par un modèle d’IA qui paraît plausible et assurée, mais qui contient des informations fausses, inventées ou non étayées par ses sources.
Modèle de récompense
AvancéModèle entraîné à attribuer un score à une réponse de façon à prédire la préférence humaine, puis utilisé comme signal de récompense pour entraîner ou filtrer un autre modèle.
Piratage de la récompense (reward hacking)
AvancéComportement d’un système entraîné par renforcement qui exploite les failles ou imperfections de son signal de récompense pour obtenir un bon score sans accomplir réellement la tâche voulue.
RLHF (apprentissage par renforcement à partir de retours humains)
AvancéMéthode d’alignement où des humains comparent des réponses d’un modèle, ces préférences entraînent un modèle de récompense, puis l’apprentissage par renforcement optimise le modèle pour maximiser cette récompense.