Distillation
En anglais : Knowledge distillation
Technique de compression où un modèle plus petit, l’élève, apprend à reproduire les sorties d’un modèle plus grand, l’enseignant, pour obtenir des performances proches à moindre coût.
Exemple
Une entreprise fait générer par un grand modèle des réponses à des milliers de questions métier, puis entraîne sur ces réponses un petit modèle capable de tourner sur ses propres serveurs.
Notions liées
Données synthétiques
IntermédiaireDonnées produites artificiellement, par un modèle d’IA ou une simulation, plutôt que collectées dans le monde réel, et utilisées pour entraîner, ajuster ou évaluer des modèles.
Fine-tuning (affinage)
IntermédiaireTechnique qui poursuit l’entraînement d’un modèle déjà pré-entraîné sur un jeu de données plus restreint, afin de modifier ses poids et de l’adapter à une tâche, un domaine ou un style.
IA embarquée (edge AI)
IntermédiaireIA exécutée directement sur un appareil, comme un smartphone, une caméra, une voiture ou un capteur industriel, plutôt que dans un centre de données distant.
Logits
AvancéScores bruts, non normalisés, qu’un modèle produit pour chaque token de son vocabulaire avant leur conversion en probabilités par une fonction softmax.
Quantification (quantization)
AvancéTechnique qui réduit le nombre de bits utilisés pour stocker chaque poids d’un modèle, par exemple de 16 à 8 ou 4 bits, afin de le rendre plus léger et plus rapide.
SLM (petit modèle de langage)
IntermédiaireModèle de langage de taille réduite, généralement de quelques centaines de millions à quelques milliards de paramètres, conçu pour tourner à moindre coût, y compris sur un ordinateur ou un téléphone.