Débit en tokens par seconde
En anglais : Throughput (tokens per second)
Mesure de la vitesse de génération d’un modèle de langage, exprimée en tokens produits par seconde, pour une réponse donnée ou pour l’ensemble d’un serveur.
Exemple
Une équipe qui génère des milliers de résumés chaque nuit privilégie un fort débit global, tandis que son chatbot interne est réglé pour minimiser la latence.
Notions liées
Décodage spéculatif
AvancéTechnique d’accélération de l’inférence où un petit modèle rapide propose plusieurs tokens à l’avance, que le grand modèle vérifie ensuite en une seule passe.
GPU (processeur graphique)
DébutantProcesseur composé de milliers de petits cœurs de calcul travaillant en parallèle, conçu à l’origine pour l’affichage graphique et devenu central pour entraîner et exécuter l’IA.
Inférence
DébutantPhase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.
Latence
DébutantDélai d’attente entre l’envoi d’une requête à un modèle d’IA et l’arrivée de la réponse, souvent mesuré par le temps avant l’affichage du premier token.
Limite de débit (rate limit)
IntermédiairePlafond fixé par un fournisseur d’API sur le nombre de requêtes ou de tokens qu’un client peut envoyer pendant une période donnée, par exemple par minute.
Token
DébutantUnité élémentaire de texte manipulée par un modèle de langage, qui correspond selon le découpage à un mot, un morceau de mot, un signe de ponctuation ou un espace.