Garde-fous (guardrails)
En anglais : Guardrails
Mécanismes de contrôle placés autour d’un modèle d’IA pour filtrer ses entrées et ses sorties, encadrer ses actions et empêcher les réponses ou comportements jugés dangereux ou hors sujet.
Exemple
Un chatbot bancaire refuse automatiquement de répéter un numéro de carte saisi par erreur et redirige vers un conseiller dès qu’une question sort de son périmètre.
Notions liées
Humain dans la boucle (human in the loop)
IntermédiairePrincipe de conception qui prévoit une intervention humaine à des étapes clés d’un système d’IA, pour valider, corriger ou refuser une décision avant qu’elle ne produise ses effets.
Jailbreak (débridage)
IntermédiaireTechnique par laquelle un utilisateur rédige lui-même des requêtes trompeuses pour pousser un modèle d’IA à contourner ses propres règles de sécurité et à produire un contenu normalement refusé.
Modération de contenu
DébutantProcessus de détection et de traitement des contenus illicites, dangereux ou contraires aux règles d’un service, réalisé par des humains, des systèmes automatiques ou une combinaison des deux.
Injection de prompt (prompt injection)
IntermédiaireAttaque qui consiste à dissimuler des instructions malveillantes dans un contenu traité par un système d’IA, comme une page web, un document ou un courriel, afin d’en détourner le comportement.
Prompt système (system prompt)
IntermédiaireInstructions placées en amont d’une conversation, généralement par le développeur ou l’éditeur, qui fixent le rôle, le ton, les règles et les limites d’un assistant IA.