Pourquoi l’IA compte en tokens et pas en mots

Un token est l’une des unités de base utilisées par les intelligences artificielles génératives pour traiter le langage. Contrairement à une idée fréquente, un token n’est pas forcément un mot. Il peut correspondre à un mot entier, à une partie de mot, à quelques caractères ou à un signe de ponctuation. Le découpage dépend du modèle et du système de tokenisation utilisé. Pour comprendre simplement le principe, on peut imaginer des briques Lego. Le modèle dispose d’une immense boîte contenant des fragments de texte de différentes tailles. Lorsqu’on lui transmet une phrase, un mécanisme appelé t