Pré-entraînement
En anglais : Pre-training
Première phase d’entraînement, la plus longue et la plus coûteuse, au cours de laquelle un modèle acquiert des connaissances générales à partir d’un très grand volume de données non annotées.
Exemple
Un laboratoire pré-entraîne un modèle sur un corpus multilingue de pages web, de livres et de code, puis publie ce modèle de base pour que d’autres équipes l’affinent sur leurs propres tâches.
Notions liées
Données d’entraînement
DébutantEnsemble d’exemples, textes, images, sons ou tableaux, à partir desquels un modèle d’IA apprend à reconnaître des régularités et à produire des réponses.
Fine-tuning (affinage)
IntermédiaireTechnique qui poursuit l’entraînement d’un modèle déjà pré-entraîné sur un jeu de données plus restreint, afin de modifier ses poids et de l’adapter à une tâche, un domaine ou un style.
Instruction tuning (ajustement aux instructions)
AvancéÉtape de fine-tuning supervisé où un modèle pré-entraîné apprend, sur des paires consigne-réponse, à comprendre et exécuter des instructions formulées en langage naturel.
LLM (grand modèle de langage)
DébutantModèle d’IA entraîné sur d’immenses volumes de texte à prédire la suite d’une séquence, ce qui lui permet de rédiger, résumer, traduire, répondre à des questions ou écrire du code.
Lois d’échelle (scaling laws)
AvancéRelations empiriques selon lesquelles les performances d’un modèle s’améliorent de façon prévisible lorsque l’on augmente la puissance de calcul, la quantité de données et le nombre de paramètres.
Modèle de fondation
IntermédiaireGrand modèle pré-entraîné sur des données massives et variées, conçu pour être adapté ensuite à de nombreuses tâches plutôt que pour un usage unique.