NPU (processeur neuronal)
En anglais : Neural Processing Unit
Composant intégré à de nombreux smartphones et ordinateurs portables récents, spécialisé dans l’exécution économe en énergie des calculs d’IA directement sur l’appareil.
Exemple
Un ordinateur portable récent utilise son NPU pour sous-titrer en direct une réunion vidéo, sans envoyer l’audio vers un serveur distant.
Notions liées
GPU (processeur graphique)
DébutantProcesseur composé de milliers de petits cœurs de calcul travaillant en parallèle, conçu à l’origine pour l’affichage graphique et devenu central pour entraîner et exécuter l’IA.
IA embarquée (edge AI)
IntermédiaireIA exécutée directement sur un appareil, comme un smartphone, une caméra, une voiture ou un capteur industriel, plutôt que dans un centre de données distant.
IA en local
DébutantExécution d’un modèle d’IA directement sur son propre ordinateur ou serveur, sans envoyer les données à un service distant, généralement grâce à un modèle open weights.
Quantification (quantization)
AvancéTechnique qui réduit le nombre de bits utilisés pour stocker chaque poids d’un modèle, par exemple de 16 à 8 ou 4 bits, afin de le rendre plus léger et plus rapide.
SLM (petit modèle de langage)
IntermédiaireModèle de langage de taille réduite, généralement de quelques centaines de millions à quelques milliards de paramètres, conçu pour tourner à moindre coût, y compris sur un ordinateur ou un téléphone.
TPU (Tensor Processing Unit)
IntermédiairePuce spécialisée conçue par Google pour accélérer les calculs des réseaux de neurones, utilisée dans ses propres centres de données et proposée à la location via son offre cloud.