Alignement
En anglais : AI alignment
Ensemble des recherches et techniques visant à ce qu’un système d’IA poursuive réellement les intentions et les valeurs de ses concepteurs et utilisateurs, sans comportements nuisibles ou inattendus.
Exemple
Avant de publier un nouveau modèle, un laboratoire vérifie qu’il refuse d’expliquer la fabrication d’une arme tout en continuant à répondre normalement à des questions de chimie scolaire.
Notions liées
Complaisance (sycophancy)
IntermédiaireTendance d’un modèle d’IA à dire à l’utilisateur ce qu’il semble vouloir entendre, en approuvant ses opinions ou ses erreurs plutôt qu’en donnant une réponse exacte et honnête.
Garde-fous (guardrails)
DébutantMécanismes de contrôle placés autour d’un modèle d’IA pour filtrer ses entrées et ses sorties, encadrer ses actions et empêcher les réponses ou comportements jugés dangereux ou hors sujet.
Interprétabilité
AvancéDomaine de recherche qui cherche à comprendre le fonctionnement interne d’un modèle d’IA, c’est-à-dire ce que représentent ses neurones et paramètres et comment ils produisent une réponse donnée.
Red teaming
IntermédiairePratique de test qui consiste à attaquer volontairement un système d’IA, comme le ferait un adversaire, afin de découvrir ses failles de sécurité et ses comportements indésirables avant les utilisateurs malveillants.
Piratage de la récompense (reward hacking)
AvancéComportement d’un système entraîné par renforcement qui exploite les failles ou imperfections de son signal de récompense pour obtenir un bon score sans accomplir réellement la tâche voulue.
RLHF (apprentissage par renforcement à partir de retours humains)
AvancéMéthode d’alignement où des humains comparent des réponses d’un modèle, ces préférences entraînent un modèle de récompense, puis l’apprentissage par renforcement optimise le modèle pour maximiser cette récompense.