Tarification au token
En anglais : Token-based Pricing
Mode de facturation des modèles de langage accessibles par API, dans lequel le prix dépend du nombre de tokens envoyés en entrée et générés en sortie.
Exemple
Avant de lancer un chatbot de support, une start-up estime le volume mensuel de conversations et le nombre moyen de tokens par échange pour prévoir son budget API.
Notions liées
API (interface de programmation)
DébutantInterface qui permet à un logiciel d’utiliser les fonctions ou les données d’un autre selon des règles définies, par exemple pour envoyer un prompt à un modèle d’IA et recevoir sa réponse.
Mise en cache du prompt (prompt caching)
IntermédiaireOptimisation qui réutilise le traitement déjà effectué sur le début identique d’un prompt d’une requête à l’autre, afin de réduire le coût et la latence des appels suivants.
Limite de débit (rate limit)
IntermédiairePlafond fixé par un fournisseur d’API sur le nombre de requêtes ou de tokens qu’un client peut envoyer pendant une période donnée, par exemple par minute.
ROI d’un projet IA
DébutantRapport entre les gains obtenus grâce à un projet d’intelligence artificielle et l’ensemble des coûts engagés pour le concevoir, le déployer et le faire fonctionner dans la durée.
SLM (petit modèle de langage)
IntermédiaireModèle de langage de taille réduite, généralement de quelques centaines de millions à quelques milliards de paramètres, conçu pour tourner à moindre coût, y compris sur un ordinateur ou un téléphone.
Token
DébutantUnité élémentaire de texte manipulée par un modèle de langage, qui correspond selon le découpage à un mot, un morceau de mot, un signe de ponctuation ou un espace.