Agent d’utilisation d’ordinateur (computer use)
En anglais : Computer use
Agent IA capable de manipuler une interface graphique comme le ferait une personne, en analysant des captures d’écran puis en déplaçant le curseur, en cliquant et en tapant au clavier.
Exemple
Une agence de voyages confie à un agent de ce type la saisie de réservations dans un ancien logiciel métier dépourvu d’API, avec une validation humaine avant chaque confirmation.
Notions liées
Agent IA
DébutantSystème qui utilise un modèle d’IA pour poursuivre un objectif de manière largement autonome, en planifiant des étapes, en utilisant des outils et en adaptant son action aux résultats obtenus.
Humain dans la boucle (human in the loop)
IntermédiairePrincipe de conception qui prévoit une intervention humaine à des étapes clés d’un système d’IA, pour valider, corriger ou refuser une décision avant qu’elle ne produise ses effets.
Multimodal
DébutantCaractéristique d’un modèle ou d’un système d’IA capable de traiter ou de produire plusieurs types de données, appelés modalités, comme le texte, l’image, l’audio ou la vidéo.
Injection de prompt (prompt injection)
IntermédiaireAttaque qui consiste à dissimuler des instructions malveillantes dans un contenu traité par un système d’IA, comme une page web, un document ou un courriel, afin d’en détourner le comportement.
RPA (automatisation robotisée des processus)
IntermédiaireTechnologie d’automatisation qui reproduit, au moyen de robots logiciels, les actions répétitives qu’une personne effectue sur des applications : clics, copier-coller, saisies et transferts de fichiers.
VLM (modèle vision-langage)
AvancéModèle capable de traiter conjointement des images et du texte, pour décrire une photo, lire un document scanné, analyser un graphique ou répondre à des questions sur une scène.