HBM (mémoire à haut débit)
En anglais : High Bandwidth Memory
Type de mémoire très rapide, empilée en couches à côté de la puce, utilisée dans les GPU et accélérateurs d'IA.
Exemple
Un GPU pour centre de données embarque plusieurs piles de HBM3E pour charger rapidement les poids d'un grand modèle.
Notions liées
Centre de données IA (datacenter)
DébutantBâtiment regroupant un grand nombre de serveurs équipés d’accélérateurs comme des GPU, reliés par des réseaux très rapides, pour entraîner et faire fonctionner des modèles d’IA.
GPU (processeur graphique)
DébutantProcesseur composé de milliers de petits cœurs de calcul travaillant en parallèle, conçu à l’origine pour l’affichage graphique et devenu central pour entraîner et exécuter l’IA.
Inférence
DébutantPhase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.
Puissance de calcul (compute)
DébutantCapacité de traitement mobilisée pour entraîner ou faire fonctionner des modèles d’IA, qui dépend du type de puces, de leur nombre et de leur durée d’utilisation.
VRAM (mémoire vidéo)
IntermédiaireMémoire rapide intégrée à une carte graphique, qui stocke les paramètres du modèle et les données en cours de calcul ; sa capacité limite la taille des modèles exécutables.