DPO (optimisation directe des préférences)
En anglais : Direct Preference Optimization
Méthode d’alignement qui ajuste directement un modèle de langage sur des paires de réponses préférée et rejetée, sans modèle de récompense explicite ni boucle d’apprentissage par renforcement.
Exemple
Une équipe qui publie un modèle open weights l’aligne avec le DPO sur un jeu de paires de réponses annotées, ce qui lui évite de maintenir une infrastructure complète d’apprentissage par renforcement.
Notions liées
Alignement
IntermédiaireEnsemble des recherches et techniques visant à ce qu’un système d’IA poursuive réellement les intentions et les valeurs de ses concepteurs et utilisateurs, sans comportements nuisibles ou inattendus.
Fonction de perte
AvancéFormule mathématique qui mesure l’écart entre les prédictions d’un modèle et les résultats attendus, et dont l’entraînement cherche à réduire la valeur au minimum.
Instruction tuning (ajustement aux instructions)
AvancéÉtape de fine-tuning supervisé où un modèle pré-entraîné apprend, sur des paires consigne-réponse, à comprendre et exécuter des instructions formulées en langage naturel.
Modèle de récompense
AvancéModèle entraîné à attribuer un score à une réponse de façon à prédire la préférence humaine, puis utilisé comme signal de récompense pour entraîner ou filtrer un autre modèle.
RLHF (apprentissage par renforcement à partir de retours humains)
AvancéMéthode d’alignement où des humains comparent des réponses d’un modèle, ces préférences entraînent un modèle de récompense, puis l’apprentissage par renforcement optimise le modèle pour maximiser cette récompense.