Modèle autorégressif
En anglais : Autoregressive model
Modèle qui génère une séquence élément par élément, chaque nouveau token étant prédit à partir de tous ceux qui le précèdent, y compris ceux qu’il vient lui-même de produire.
Exemple
Quand un assistant affiche sa réponse au fil de l’eau en streaming, chaque fragment qui apparaît correspond à un tour de la boucle autorégressive.
Notions liées
Décodage spéculatif
AvancéTechnique d’accélération de l’inférence où un petit modèle rapide propose plusieurs tokens à l’avance, que le grand modèle vérifie ensuite en une seule passe.
Modèle de diffusion
IntermédiaireModèle génératif qui apprend à retirer progressivement le bruit d’une donnée, afin de créer à partir d’un bruit aléatoire une image, une vidéo ou un son cohérent.
GPT
DébutantSigle de Generative Pre-trained Transformer, nom d’une famille de modèles de langage développés par OpenAI, souvent employé par extension pour désigner n’importe quel assistant conversationnel.
KV cache
AvancéMémoire temporaire dans laquelle un modèle de langage conserve les clés et valeurs d’attention des tokens déjà traités, pour ne pas les recalculer à chaque nouveau token généré.
Logits
AvancéScores bruts, non normalisés, qu’un modèle produit pour chaque token de son vocabulaire avant leur conversion en probabilités par une fonction softmax.
Token
DébutantUnité élémentaire de texte manipulée par un modèle de langage, qui correspond selon le découpage à un mot, un morceau de mot, un signe de ponctuation ou un espace.