Logits
Scores bruts, non normalisés, qu’un modèle produit pour chaque token de son vocabulaire avant leur conversion en probabilités par une fonction softmax.
Exemple
Pour un classifieur de tickets, un développeur compare les log-probabilités des tokens « oui » et « non » afin d’obtenir un score de confiance plutôt qu’une simple réponse.
Notions liées
Modèle autorégressif
AvancéModèle qui génère une séquence élément par élément, chaque nouveau token étant prédit à partir de tous ceux qui le précèdent, y compris ceux qu’il vient lui-même de produire.
Sortie structurée (JSON)
IntermédiaireRéponse d’un modèle d’IA contrainte à suivre un format machine prédéfini, le plus souvent un objet JSON conforme à un schéma, pour être exploitée directement par un programme.
Température
IntermédiaireParamètre de génération qui règle le degré d’aléa dans le choix des tokens : basse, elle rend les réponses plus prévisibles ; élevée, plus variées et surprenantes.
Token
DébutantUnité élémentaire de texte manipulée par un modèle de langage, qui correspond selon le découpage à un mot, un morceau de mot, un signe de ponctuation ou un espace.
Top-p (nucleus sampling)
AvancéMéthode d’échantillonnage qui ne retient, à chaque étape, que les tokens les plus probables dont les probabilités cumulées atteignent un seuil p, puis tire le suivant parmi eux.