Token
Unité élémentaire de texte manipulée par un modèle de langage, qui correspond selon le découpage à un mot, un morceau de mot, un signe de ponctuation ou un espace.
Exemple
Avant de lancer l’analyse de milliers de documents, une équipe estime le nombre de tokens en entrée et en sortie pour prévoir sa facture d’API.
Notions liées
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
Débit en tokens par seconde
IntermédiaireMesure de la vitesse de génération d’un modèle de langage, exprimée en tokens produits par seconde, pour une réponse donnée ou pour l’ensemble d’un serveur.
Embedding (plongement vectoriel)
IntermédiaireReprésentation d’un texte, d’une image ou d’un autre contenu sous forme de liste de nombres, un vecteur, construite pour que des contenus de sens proche aient des vecteurs proches.
LLM (grand modèle de langage)
DébutantModèle d’IA entraîné sur d’immenses volumes de texte à prédire la suite d’une séquence, ce qui lui permet de rédiger, résumer, traduire, répondre à des questions ou écrire du code.
Tarification au token
IntermédiaireMode de facturation des modèles de langage accessibles par API, dans lequel le prix dépend du nombre de tokens envoyés en entrée et générés en sortie.
Tokenisation
IntermédiaireÉtape qui découpe un texte en tokens et convertit chacun en identifiant numérique, à l’aide d’un outil appelé tokenizer, avant que le modèle puisse le traiter.