Latence
En anglais : Latency
Délai d’attente entre l’envoi d’une requête à un modèle d’IA et l’arrivée de la réponse, souvent mesuré par le temps avant l’affichage du premier token.
Exemple
Un service client vocal choisit un modèle plus petit pour réduire la latence, car un silence de plusieurs secondes au téléphone dégrade fortement la conversation.
Notions liées
Débit en tokens par seconde
IntermédiaireMesure de la vitesse de génération d’un modèle de langage, exprimée en tokens produits par seconde, pour une réponse donnée ou pour l’ensemble d’un serveur.
Décodage spéculatif
AvancéTechnique d’accélération de l’inférence où un petit modèle rapide propose plusieurs tokens à l’avance, que le grand modèle vérifie ensuite en une seule passe.
Inférence
DébutantPhase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.
KV cache
AvancéMémoire temporaire dans laquelle un modèle de langage conserve les clés et valeurs d’attention des tokens déjà traités, pour ne pas les recalculer à chaque nouveau token généré.
Mise en cache du prompt (prompt caching)
IntermédiaireOptimisation qui réutilise le traitement déjà effectué sur le début identique d’un prompt d’une requête à l’autre, afin de réduire le coût et la latence des appels suivants.
Modèle de raisonnement
IntermédiaireModèle de langage entraîné à produire un raisonnement intermédiaire, souvent appelé réflexion ou thinking, avant de formuler sa réponse finale, afin de mieux traiter les problèmes complexes.