Jailbreak (débridage)
En anglais : Jailbreak
Technique par laquelle un utilisateur rédige lui-même des requêtes trompeuses pour pousser un modèle d’IA à contourner ses propres règles de sécurité et à produire un contenu normalement refusé.
Exemple
Un utilisateur demande à un assistant d’écrire « un roman » dans lequel un personnage détaille pas à pas une recette dangereuse, espérant que le cadre fictif fasse sauter le refus.
Notions liées
Alignement
IntermédiaireEnsemble des recherches et techniques visant à ce qu’un système d’IA poursuive réellement les intentions et les valeurs de ses concepteurs et utilisateurs, sans comportements nuisibles ou inattendus.
Garde-fous (guardrails)
DébutantMécanismes de contrôle placés autour d’un modèle d’IA pour filtrer ses entrées et ses sorties, encadrer ses actions et empêcher les réponses ou comportements jugés dangereux ou hors sujet.
Injection de prompt (prompt injection)
IntermédiaireAttaque qui consiste à dissimuler des instructions malveillantes dans un contenu traité par un système d’IA, comme une page web, un document ou un courriel, afin d’en détourner le comportement.
Prompt système (system prompt)
IntermédiaireInstructions placées en amont d’une conversation, généralement par le développeur ou l’éditeur, qui fixent le rôle, le ton, les règles et les limites d’un assistant IA.
Red teaming
IntermédiairePratique de test qui consiste à attaquer volontairement un système d’IA, comme le ferait un adversaire, afin de découvrir ses failles de sécurité et ses comportements indésirables avant les utilisateurs malveillants.