Modèle à espace d’états (SSM)
En anglais : State Space Model
Architecture de réseau de neurones qui traite une séquence en mettant à jour un état interne de taille fixe, avec un coût qui croît linéairement avec la longueur du texte.
Exemple
Pour analyser en continu de longs journaux de capteurs industriels, une équipe teste un modèle hybride SSM-attention afin de limiter la mémoire consommée.
Notions liées
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
Inférence
DébutantPhase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.
KV cache
AvancéMémoire temporaire dans laquelle un modèle de langage conserve les clés et valeurs d’attention des tokens déjà traités, pour ne pas les recalculer à chaque nouveau token généré.
Mécanisme d’attention
AvancéOpération au cœur des Transformers qui permet à chaque token de pondérer l’importance de tous les autres tokens de la séquence pour construire sa représentation en contexte.
Transformer
IntermédiaireArchitecture de réseau de neurones fondée sur le mécanisme d’attention, introduite en 2017, qui sert de base à la plupart des grands modèles de langage actuels.