Le vocabulaire de l'IA, sans jargon

Data annotation

Travail consistant à ajouter des étiquettes à des données brutes, par exemple une catégorie, une transcription ou un cadre autour d’un…

Transfer learning

Approche qui réutilise les connaissances acquises par un modèle sur une tâche ou un domaine pour apprendre plus vite, et avec moins de…

Vector database

Système de stockage conçu pour enregistrer des embeddings et retrouver très rapidement ceux qui sont les plus proches d’un vecteur donné,…

Chunking

Étape de préparation qui découpe de longs documents en fragments plus courts, appelés chunks, avant de les convertir en embeddings et de…

Gradient descent

Méthode d’optimisation qui ajuste pas à pas les paramètres d’un modèle dans la direction qui fait le plus diminuer la fonction de perte,…

Knowledge distillation

Technique de compression où un modèle plus petit, l’élève, apprend à reproduire les sorties d’un modèle plus grand, l’enseignant, pour…

Training data

Ensemble d’exemples, textes, images, sons ou tableaux, à partir desquels un modèle d’IA apprend à reconnaître des régularités et à produire…

Synthetic data

Données produites artificiellement, par un modèle d’IA ou une simulation, plutôt que collectées dans le monde réel, et utilisées pour…

Direct Preference Optimization

Méthode d’alignement qui ajuste directement un modèle de langage sur des paires de réponses préférée et rejetée, sans modèle de récompense…

Embedding

Représentation d’un texte, d’une image ou d’un autre contenu sous forme de liste de nombres, un vecteur, construite pour que des contenus…

Epoch

Passage complet de l’ensemble des données d’entraînement à travers un modèle pendant l’apprentissage, un entraînement pouvant en compter…

Fine-tuning

Technique qui poursuit l’entraînement d’un modèle déjà pré-entraîné sur un jeu de données plus restreint, afin de modifier ses poids et de…

Loss function

Formule mathématique qui mesure l’écart entre les prédictions d’un modèle et les résultats attendus, et dont l’entraînement cherche à…

Hyperparameters

Réglages fixés par les concepteurs pour encadrer l’entraînement d’un modèle, comme le taux d’apprentissage, la taille des lots ou le nombre…

Instruction tuning

Étape de fine-tuning supervisé où un modèle pré-entraîné apprend, sur des paires consigne-réponse, à comprendre et exécuter des…

Scaling laws

Relations empiriques selon lesquelles les performances d’un modèle s’améliorent de façon prévisible lorsque l’on augmente la puissance de…

Low-Rank Adaptation

Méthode de fine-tuning économe qui gèle les poids d’origine d’un modèle et n’entraîne que de petites matrices de bas rang ajoutées à…

Reward model

Modèle entraîné à attribuer un score à une réponse de façon à prédire la préférence humaine, puis utilisé comme signal de récompense pour…

Pre-training

Première phase d’entraînement, la plus longue et la plus coûteuse, au cours de laquelle un modèle acquiert des connaissances générales à…

Quantization

Technique qui réduit le nombre de bits utilisés pour stocker chaque poids d’un modèle, par exemple de 16 à 8 ou 4 bits, afin de le rendre…

Retrieval-Augmented Generation

Architecture qui, avant de générer une réponse, recherche dans une collection de documents les passages pertinents et les fournit au modèle…

Semantic search

Méthode de recherche qui retrouve des contenus selon leur sens et l’intention de la requête, plutôt que selon la présence exacte des…

Reranking

Étape qui réévalue et réordonne, avec un modèle plus précis, une liste de résultats issus d’une première recherche rapide, afin de ne…

Backpropagation

Algorithme qui calcule efficacement, couche par couche en partant de la sortie, la contribution de chaque poids d’un réseau de neurones à…

Reinforcement Learning from Human Feedback

Méthode d’alignement où des humains comparent des réponses d’un modèle, ces préférences entraînent un modèle de récompense, puis…

Reinforcement Learning with Verifiable Rewards

Méthode d’apprentissage par renforcement où la récompense provient d’une vérification automatique du résultat, comme des tests unitaires…

Overfitting

Situation où un modèle apprend trop fidèlement ses données d’entraînement, y compris leurs particularités et leur bruit, et perd sa…