Instruction tuning (ajustement aux instructions)
En anglais : Instruction tuning
Étape de fine-tuning supervisé où un modèle pré-entraîné apprend, sur des paires consigne-réponse, à comprendre et exécuter des instructions formulées en langage naturel.
Exemple
Une équipe transforme un modèle de base open weights en assistant conversationnel en l’entraînant sur plusieurs dizaines de milliers de dialogues consigne-réponse en français.
Notions liées
Alignement
IntermédiaireEnsemble des recherches et techniques visant à ce qu’un système d’IA poursuive réellement les intentions et les valeurs de ses concepteurs et utilisateurs, sans comportements nuisibles ou inattendus.
Données synthétiques
IntermédiaireDonnées produites artificiellement, par un modèle d’IA ou une simulation, plutôt que collectées dans le monde réel, et utilisées pour entraîner, ajuster ou évaluer des modèles.
DPO (optimisation directe des préférences)
AvancéMéthode d’alignement qui ajuste directement un modèle de langage sur des paires de réponses préférée et rejetée, sans modèle de récompense explicite ni boucle d’apprentissage par renforcement.
Fine-tuning (affinage)
IntermédiaireTechnique qui poursuit l’entraînement d’un modèle déjà pré-entraîné sur un jeu de données plus restreint, afin de modifier ses poids et de l’adapter à une tâche, un domaine ou un style.
Pré-entraînement
IntermédiairePremière phase d’entraînement, la plus longue et la plus coûteuse, au cours de laquelle un modèle acquiert des connaissances générales à partir d’un très grand volume de données non annotées.
RLHF (apprentissage par renforcement à partir de retours humains)
AvancéMéthode d’alignement où des humains comparent des réponses d’un modèle, ces préférences entraînent un modèle de récompense, puis l’apprentissage par renforcement optimise le modèle pour maximiser cette récompense.