Mise en cache du prompt (prompt caching)
En anglais : Prompt caching
Optimisation qui réutilise le traitement déjà effectué sur le début identique d’un prompt d’une requête à l’autre, afin de réduire le coût et la latence des appels suivants.
Exemple
Une application de support client place le long guide produit au début de chaque prompt système, pour que ce bloc soit mis en cache et que seules les questions des clients soient traitées à plein tarif.
Notions liées
API (interface de programmation)
DébutantInterface qui permet à un logiciel d’utiliser les fonctions ou les données d’un autre selon des règles définies, par exemple pour envoyer un prompt à un modèle d’IA et recevoir sa réponse.
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
KV cache
AvancéMémoire temporaire dans laquelle un modèle de langage conserve les clés et valeurs d’attention des tokens déjà traités, pour ne pas les recalculer à chaque nouveau token généré.
Latence
DébutantDélai d’attente entre l’envoi d’une requête à un modèle d’IA et l’arrivée de la réponse, souvent mesuré par le temps avant l’affichage du premier token.
Prompt système (system prompt)
IntermédiaireInstructions placées en amont d’une conversation, généralement par le développeur ou l’éditeur, qui fixent le rôle, le ton, les règles et les limites d’un assistant IA.
Tarification au token
IntermédiaireMode de facturation des modèles de langage accessibles par API, dans lequel le prix dépend du nombre de tokens envoyés en entrée et générés en sortie.