Transformer
Architecture de réseau de neurones fondée sur le mécanisme d’attention, introduite en 2017, qui sert de base à la plupart des grands modèles de langage actuels.
Exemple
Un développeur qui charge un modèle open weights dans une bibliothèque d’apprentissage automatique manipule en pratique un empilement de blocs Transformer.
Notions liées
Deep learning (apprentissage profond)
DébutantSous-domaine du machine learning qui utilise des réseaux de neurones comportant de nombreuses couches successives pour apprendre des représentations de plus en plus abstraites à partir de données brutes.
GPU (processeur graphique)
DébutantProcesseur composé de milliers de petits cœurs de calcul travaillant en parallèle, conçu à l’origine pour l’affichage graphique et devenu central pour entraîner et exécuter l’IA.
LLM (grand modèle de langage)
DébutantModèle d’IA entraîné sur d’immenses volumes de texte à prédire la suite d’une séquence, ce qui lui permet de rédiger, résumer, traduire, répondre à des questions ou écrire du code.
Mécanisme d’attention
AvancéOpération au cœur des Transformers qui permet à chaque token de pondérer l’importance de tous les autres tokens de la séquence pour construire sa représentation en contexte.
Modèle autorégressif
AvancéModèle qui génère une séquence élément par élément, chaque nouveau token étant prédit à partir de tous ceux qui le précèdent, y compris ceux qu’il vient lui-même de produire.
Modèle à espace d’états (SSM)
AvancéArchitecture de réseau de neurones qui traite une séquence en mettant à jour un état interne de taille fixe, avec un coût qui croît linéairement avec la longueur du texte.