VRAM (mémoire vidéo)
En anglais : Video RAM
Mémoire rapide intégrée à une carte graphique, qui stocke les paramètres du modèle et les données en cours de calcul ; sa capacité limite la taille des modèles exécutables.
Exemple
Avant de télécharger un modèle open weights, un développeur vérifie que sa carte graphique dispose d’assez de VRAM pour charger la version quantifiée en 4 bits.
Notions liées
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
GPU (processeur graphique)
DébutantProcesseur composé de milliers de petits cœurs de calcul travaillant en parallèle, conçu à l’origine pour l’affichage graphique et devenu central pour entraîner et exécuter l’IA.
IA en local
DébutantExécution d’un modèle d’IA directement sur son propre ordinateur ou serveur, sans envoyer les données à un service distant, généralement grâce à un modèle open weights.
KV cache
AvancéMémoire temporaire dans laquelle un modèle de langage conserve les clés et valeurs d’attention des tokens déjà traités, pour ne pas les recalculer à chaque nouveau token généré.
Paramètres (poids)
IntermédiaireValeurs numériques internes d’un modèle d’IA, ajustées pendant l’entraînement, qui déterminent comment il transforme une entrée en sortie et stockent ce qu’il a appris.
Quantification (quantization)
AvancéTechnique qui réduit le nombre de bits utilisés pour stocker chaque poids d’un modèle, par exemple de 16 à 8 ou 4 bits, afin de le rendre plus léger et plus rapide.