Mécanisme d’attention
En anglais : Attention mechanism
Opération au cœur des Transformers qui permet à chaque token de pondérer l’importance de tous les autres tokens de la séquence pour construire sa représentation en contexte.
Exemple
Pour résumer un long rapport, l’attention permet au modèle de relier une conclusion située en page 30 à un chiffre cité en page 2.
Notions liées
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
Embedding (plongement vectoriel)
IntermédiaireReprésentation d’un texte, d’une image ou d’un autre contenu sous forme de liste de nombres, un vecteur, construite pour que des contenus de sens proche aient des vecteurs proches.
Interprétabilité
AvancéDomaine de recherche qui cherche à comprendre le fonctionnement interne d’un modèle d’IA, c’est-à-dire ce que représentent ses neurones et paramètres et comment ils produisent une réponse donnée.
KV cache
AvancéMémoire temporaire dans laquelle un modèle de langage conserve les clés et valeurs d’attention des tokens déjà traités, pour ne pas les recalculer à chaque nouveau token généré.
Modèle à espace d’états (SSM)
AvancéArchitecture de réseau de neurones qui traite une séquence en mettant à jour un état interne de taille fixe, avec un coût qui croît linéairement avec la longueur du texte.
Transformer
IntermédiaireArchitecture de réseau de neurones fondée sur le mécanisme d’attention, introduite en 2017, qui sert de base à la plupart des grands modèles de langage actuels.