Budget de réflexion (thinking budget)
En anglais : Thinking budget
Paramètre qui fixe la quantité maximale de tokens qu’un modèle de raisonnement peut consacrer à sa phase de réflexion interne avant de formuler sa réponse finale.
Exemple
Une application réserve un petit budget de réflexion aux questions de FAQ et un budget élevé à l’analyse de contrats, afin de maîtriser à la fois les délais de réponse et la facture.
Notions liées
Chaîne de pensée (chain of thought)
IntermédiaireTechnique qui amène un modèle de langage à expliciter des étapes de raisonnement intermédiaires avant sa réponse finale, ce qui améliore souvent les résultats sur les problèmes à plusieurs étapes.
Inférence
DébutantPhase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.
Latence
DébutantDélai d’attente entre l’envoi d’une requête à un modèle d’IA et l’arrivée de la réponse, souvent mesuré par le temps avant l’affichage du premier token.
Modèle de raisonnement
IntermédiaireModèle de langage entraîné à produire un raisonnement intermédiaire, souvent appelé réflexion ou thinking, avant de formuler sa réponse finale, afin de mieux traiter les problèmes complexes.
Tarification au token
IntermédiaireMode de facturation des modèles de langage accessibles par API, dans lequel le prix dépend du nombre de tokens envoyés en entrée et générés en sortie.
Token
DébutantUnité élémentaire de texte manipulée par un modèle de langage, qui correspond selon le découpage à un mot, un morceau de mot, un signe de ponctuation ou un espace.