LLM juge (LLM-as-a-judge)
En anglais : LLM-as-a-judge
Méthode d’évaluation qui confie à un grand modèle de langage le soin de noter ou de comparer les réponses produites par un autre système d’IA, selon des critères écrits.
Exemple
Pour comparer deux versions d’un résumé automatique, une équipe fait juger 1 000 paires de résumés par un modèle, en alternant l’ordre de présentation, puis vérifie un échantillon de 50 verdicts à la main.
Notions liées
Benchmark (banc d’essai)
DébutantEnsemble standardisé de tâches et de questions, accompagné d’une méthode de notation, qui sert à mesurer et comparer les performances de différents modèles d’IA dans des conditions identiques.
Complaisance (sycophancy)
IntermédiaireTendance d’un modèle d’IA à dire à l’utilisateur ce qu’il semble vouloir entendre, en approuvant ses opinions ou ses erreurs plutôt qu’en donnant une réponse exacte et honnête.
Évals (évaluation de modèles)
IntermédiaireEnsemble de tests conçus pour mesurer de façon systématique la qualité, la fiabilité et la sécurité des réponses d’un modèle ou d’une application d’IA sur des tâches précises.
LLM (grand modèle de langage)
DébutantModèle d’IA entraîné sur d’immenses volumes de texte à prédire la suite d’une séquence, ce qui lui permet de rédiger, résumer, traduire, répondre à des questions ou écrire du code.
Modèle de récompense
AvancéModèle entraîné à attribuer un score à une réponse de façon à prédire la préférence humaine, puis utilisé comme signal de récompense pour entraîner ou filtrer un autre modèle.