Le vocabulaire de l'IA, sans jargon

Programme qui dialogue avec des utilisateurs en langage naturel, par écrit ou à l’oral, pour répondre à des questions, guider une démarche…

Knowledge cutoff

Date au-delà de laquelle les données d’entraînement d’un modèle s’arrêtent, de sorte qu’il ignore par lui-même les événements, publications…

Context window

Quantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la…

Generative Pre-trained Transformer

Sigle de Generative Pre-trained Transformer, nom d’une famille de modèles de langage développés par OpenAI, souvent employé par extension…

Open source AI

Système d’IA publié avec les libertés de l’utiliser, de l’étudier, de le modifier et de le partager, ce qui suppose l’accès aux poids, au…

Large Language Model

Modèle d’IA entraîné sur d’immenses volumes de texte à prédire la suite d’une séquence, ce qui lui permet de rédiger, résumer, traduire,…

Scores bruts, non normalisés, qu’un modèle produit pour chaque token de son vocabulaire avant leur conversion en probabilités par une…

Attention mechanism

Opération au cœur des Transformers qui permet à chaque token de pondérer l’importance de tous les autres tokens de la séquence pour…

State Space Model

Architecture de réseau de neurones qui traite une séquence en mettant à jour un état interne de taille fixe, avec un coût qui croît…

Open-weight model

Modèle dont les paramètres entraînés, appelés poids, sont publiés et téléchargeables, ce qui permet de l’exécuter, de l’héberger et de…

Autoregressive model

Modèle qui génère une séquence élément par élément, chaque nouveau token étant prédit à partir de tous ceux qui le précèdent, y compris…

Foundation model

Grand modèle pré-entraîné sur des données massives et variées, conçu pour être adapté ensuite à de nombreuses tâches plutôt que pour un…

Frontier model

Modèle d’IA généraliste qui se situe à la pointe des capacités disponibles à un moment donné, issu d’entraînements parmi les plus coûteux…

Reasoning model

Modèle de langage entraîné à produire un raisonnement intermédiaire, souvent appelé réflexion ou thinking, avant de formuler sa réponse…

World model

Représentation interne, apprise par un système d’IA, de la façon dont son environnement fonctionne et évolue, qui lui permet de prédire les…

Mixture of Experts

Architecture dans laquelle certaines couches sont divisées en plusieurs sous-réseaux, appelés experts, dont seul un petit nombre est activé…

Caractéristique d’un modèle ou d’un système d’IA capable de traiter ou de produire plusieurs types de données, appelés modalités, comme le…

Small Language Model

Modèle de langage de taille réduite, généralement de quelques centaines de millions à quelques milliards de paramètres, conçu pour tourner…

Paramètre de génération qui règle le degré d’aléa dans le choix des tokens : basse, elle rend les réponses plus prévisibles ; élevée, plus…

Unité élémentaire de texte manipulée par un modèle de langage, qui correspond selon le découpage à un mot, un morceau de mot, un signe de…

Tokenization

Étape qui découpe un texte en tokens et convertit chacun en identifiant numérique, à l’aide d’un outil appelé tokenizer, avant que le…

Top-p sampling

Méthode d’échantillonnage qui ne retient, à chaque étape, que les tokens les plus probables dont les probabilités cumulées atteignent un…

Architecture de réseau de neurones fondée sur le mécanisme d’attention, introduite en 2017, qui sert de base à la plupart des grands…

Vision-Language Model

Modèle capable de traiter conjointement des images et du texte, pour décrire une photo, lire un document scanné, analyser un graphique ou…