Tokenisation
En anglais : Tokenization
Étape qui découpe un texte en tokens et convertit chacun en identifiant numérique, à l’aide d’un outil appelé tokenizer, avant que le modèle puisse le traiter.
Exemple
Un développeur passe un contrat de 20 pages dans le tokenizer d’un modèle pour vérifier qu’il tient dans la fenêtre de contexte avant de l’envoyer.
Notions liées
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
Embedding (plongement vectoriel)
IntermédiaireReprésentation d’un texte, d’une image ou d’un autre contenu sous forme de liste de nombres, un vecteur, construite pour que des contenus de sens proche aient des vecteurs proches.
Tarification au token
IntermédiaireMode de facturation des modèles de langage accessibles par API, dans lequel le prix dépend du nombre de tokens envoyés en entrée et générés en sortie.
Token
DébutantUnité élémentaire de texte manipulée par un modèle de langage, qui correspond selon le découpage à un mot, un morceau de mot, un signe de ponctuation ou un espace.
Traitement automatique du langage (NLP)
DébutantDomaine de l’intelligence artificielle consacré à la compréhension, à l’analyse et à la production du langage humain, écrit ou oral, par des machines.