KV cache
En anglais : Key-value cache
Mémoire temporaire dans laquelle un modèle de langage conserve les clés et valeurs d’attention des tokens déjà traités, pour ne pas les recalculer à chaque nouveau token généré.
Exemple
Lorsqu’un utilisateur colle un long rapport dans un assistant, la taille du KV cache explique en partie pourquoi le serveur doit réserver beaucoup de mémoire GPU pour cette conversation.
Notions liées
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
Inférence
DébutantPhase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.
Mécanisme d’attention
AvancéOpération au cœur des Transformers qui permet à chaque token de pondérer l’importance de tous les autres tokens de la séquence pour construire sa représentation en contexte.
Mise en cache du prompt (prompt caching)
IntermédiaireOptimisation qui réutilise le traitement déjà effectué sur le début identique d’un prompt d’une requête à l’autre, afin de réduire le coût et la latence des appels suivants.
Modèle autorégressif
AvancéModèle qui génère une séquence élément par élément, chaque nouveau token étant prédit à partir de tous ceux qui le précèdent, y compris ceux qu’il vient lui-même de produire.
VRAM (mémoire vidéo)
IntermédiaireMémoire rapide intégrée à une carte graphique, qui stocke les paramètres du modèle et les données en cours de calcul ; sa capacité limite la taille des modèles exécutables.