Red teaming
Pratique de test qui consiste à attaquer volontairement un système d’IA, comme le ferait un adversaire, afin de découvrir ses failles de sécurité et ses comportements indésirables avant les utilisateurs malveillants.
Exemple
Avant de lancer un agent capable d’envoyer des courriels, une entreprise mandate une équipe interne pour tenter de lui faire transmettre des documents confidentiels à une adresse externe.
Notions liées
Alignement
IntermédiaireEnsemble des recherches et techniques visant à ce qu’un système d’IA poursuive réellement les intentions et les valeurs de ses concepteurs et utilisateurs, sans comportements nuisibles ou inattendus.
Évals (évaluation de modèles)
IntermédiaireEnsemble de tests conçus pour mesurer de façon systématique la qualité, la fiabilité et la sécurité des réponses d’un modèle ou d’une application d’IA sur des tâches précises.
Garde-fous (guardrails)
DébutantMécanismes de contrôle placés autour d’un modèle d’IA pour filtrer ses entrées et ses sorties, encadrer ses actions et empêcher les réponses ou comportements jugés dangereux ou hors sujet.
Jailbreak (débridage)
IntermédiaireTechnique par laquelle un utilisateur rédige lui-même des requêtes trompeuses pour pousser un modèle d’IA à contourner ses propres règles de sécurité et à produire un contenu normalement refusé.
Injection de prompt (prompt injection)
IntermédiaireAttaque qui consiste à dissimuler des instructions malveillantes dans un contenu traité par un système d’IA, comme une page web, un document ou un courriel, afin d’en détourner le comportement.