Attaque adverse (adversarial attack)

En anglais : Adversarial attack

Aussi appelé : adversarial attack, exemple adverse, adversarial example, attaque antagoniste

Manipulation délibérée des données d’entrée d’un modèle, souvent par de minuscules modifications imperceptibles pour un humain, conçue pour le pousser à commettre une erreur ciblée.

Les réseaux de neurones peuvent être étonnamment sensibles à des perturbations infimes. En modifiant quelques pixels d’une photo selon un calcul précis, on peut amener un classifieur à voir un grille-pain là où se trouve un panda, alors qu’un humain ne remarque aucune différence. Le principe s’applique aussi au son, au texte ou aux objets physiques, par exemple des autocollants placés sur un panneau routier. Ces attaques révèlent que les modèles ne « voient » pas comme nous ; on s’en protège notamment en entraînant le modèle sur de tels exemples piégés et en testant sa robustesse.

Exemple

Des chercheurs montrent qu’un motif imprimé sur un vêtement peut empêcher un système de vidéosurveillance de détecter la personne qui le porte.

Attaque adverse (adversarial attack)

Exemple

Notions liées

Empoisonnement de données (data poisoning)

Jailbreak (débridage)

Red teaming

Réseau de neurones

Vision par ordinateur

Attaque adverse (adversarial attack)

Exemple

Notions liées

Empoisonnement de données (data poisoning)

Jailbreak (débridage)

Red teaming

Réseau de neurones

Vision par ordinateur