Limite de débit (rate limit)
En anglais : Rate limit
Plafond fixé par un fournisseur d’API sur le nombre de requêtes ou de tokens qu’un client peut envoyer pendant une période donnée, par exemple par minute.
Exemple
Un développeur qui lance la traduction de milliers de fiches produits répartit ses appels dans le temps pour ne pas dépasser les limites de débit de l’API.
Notions liées
API (interface de programmation)
DébutantInterface qui permet à un logiciel d’utiliser les fonctions ou les données d’un autre selon des règles définies, par exemple pour envoyer un prompt à un modèle d’IA et recevoir sa réponse.
Débit en tokens par seconde
IntermédiaireMesure de la vitesse de génération d’un modèle de langage, exprimée en tokens produits par seconde, pour une réponse donnée ou pour l’ensemble d’un serveur.
Latence
DébutantDélai d’attente entre l’envoi d’une requête à un modèle d’IA et l’arrivée de la réponse, souvent mesuré par le temps avant l’affichage du premier token.
MLOps / LLMOps
AvancéEnsemble de pratiques et d’outils qui industrialisent le cycle de vie des modèles d’IA, du développement au déploiement, puis à la surveillance et à la mise à jour en production.
Tarification au token
IntermédiaireMode de facturation des modèles de langage accessibles par API, dans lequel le prix dépend du nombre de tokens envoyés en entrée et générés en sortie.