MoE (mélange d’experts)
En anglais : Mixture of Experts
Architecture dans laquelle certaines couches sont divisées en plusieurs sous-réseaux, appelés experts, dont seul un petit nombre est activé pour chaque token par un mécanisme de routage.
Exemple
La fiche d’un modèle open weights MoE peut indiquer plusieurs dizaines de milliards de paramètres au total, dont seulement quelques milliards actifs par token.
Notions liées
Inférence
DébutantPhase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.
Lois d’échelle (scaling laws)
AvancéRelations empiriques selon lesquelles les performances d’un modèle s’améliorent de façon prévisible lorsque l’on augmente la puissance de calcul, la quantité de données et le nombre de paramètres.
Paramètres (poids)
IntermédiaireValeurs numériques internes d’un modèle d’IA, ajustées pendant l’entraînement, qui déterminent comment il transforme une entrée en sortie et stockent ce qu’il a appris.
Puissance de calcul (compute)
DébutantCapacité de traitement mobilisée pour entraîner ou faire fonctionner des modèles d’IA, qui dépend du type de puces, de leur nombre et de leur durée d’utilisation.
Transformer
IntermédiaireArchitecture de réseau de neurones fondée sur le mécanisme d’attention, introduite en 2017, qui sert de base à la plupart des grands modèles de langage actuels.
VRAM (mémoire vidéo)
IntermédiaireMémoire rapide intégrée à une carte graphique, qui stocke les paramètres du modèle et les données en cours de calcul ; sa capacité limite la taille des modèles exécutables.