Fenêtre de contexte
En anglais : Context window
Quantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
Exemple
Un juriste place un contrat complet et ses annexes dans la fenêtre de contexte d’un assistant pour lui demander la liste des clauses de résiliation.
Notions liées
Ingénierie du contexte (context engineering)
AvancéDiscipline qui consiste à sélectionner, organiser et mettre à jour l’ensemble des informations fournies à un modèle à chaque appel : instructions, documents, historique, mémoire et résultats d’outils.
KV cache
AvancéMémoire temporaire dans laquelle un modèle de langage conserve les clés et valeurs d’attention des tokens déjà traités, pour ne pas les recalculer à chaque nouveau token généré.
Mémoire (d’un assistant IA)
DébutantFonctionnalité qui permet à un assistant IA de conserver des informations d’une conversation à l’autre, comme des préférences ou des faits sur l’utilisateur, pour personnaliser ses réponses futures.
Mise en cache du prompt (prompt caching)
IntermédiaireOptimisation qui réutilise le traitement déjà effectué sur le début identique d’un prompt d’une requête à l’autre, afin de réduire le coût et la latence des appels suivants.
RAG (génération augmentée par récupération)
IntermédiaireArchitecture qui, avant de générer une réponse, recherche dans une collection de documents les passages pertinents et les fournit au modèle de langage comme contexte.
Token
DébutantUnité élémentaire de texte manipulée par un modèle de langage, qui correspond selon le découpage à un mot, un morceau de mot, un signe de ponctuation ou un espace.