Paramètres actifs
En anglais : Active parameters
Nombre de paramètres d'un modèle réellement utilisés pour produire chaque token, souvent bien plus petit que la taille totale.
Exemple
Kimi K3.1 Pro est annoncé avec environ 2 800 milliards de paramètres au total, mais seulement 104 milliards actifs par token.
Notions liées
Inférence
DébutantPhase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.
LLM (grand modèle de langage)
DébutantModèle d’IA entraîné sur d’immenses volumes de texte à prédire la suite d’une séquence, ce qui lui permet de rédiger, résumer, traduire, répondre à des questions ou écrire du code.
MoE (mélange d’experts)
AvancéArchitecture dans laquelle certaines couches sont divisées en plusieurs sous-réseaux, appelés experts, dont seul un petit nombre est activé pour chaque token par un mécanisme de routage.
Paramètres (poids)
IntermédiaireValeurs numériques internes d’un modèle d’IA, ajustées pendant l’entraînement, qui déterminent comment il transforme une entrée en sortie et stockent ce qu’il a appris.
VRAM (mémoire vidéo)
IntermédiaireMémoire rapide intégrée à une carte graphique, qui stocke les paramètres du modèle et les données en cours de calcul ; sa capacité limite la taille des modèles exécutables.