LoRA (Low-Rank Adaptation)
En anglais : Low-Rank Adaptation
Méthode de fine-tuning économe qui gèle les poids d’origine d’un modèle et n’entraîne que de petites matrices de bas rang ajoutées à certaines de ses couches.
Exemple
Un studio entraîne un adaptateur LoRA léger pour qu’un modèle de génération d’images reproduise son style graphique, sans modifier le modèle de base partagé par ses autres projets.
Notions liées
Fine-tuning (affinage)
IntermédiaireTechnique qui poursuit l’entraînement d’un modèle déjà pré-entraîné sur un jeu de données plus restreint, afin de modifier ses poids et de l’adapter à une tâche, un domaine ou un style.
Modèle à poids ouverts (open weights)
IntermédiaireModèle dont les paramètres entraînés, appelés poids, sont publiés et téléchargeables, ce qui permet de l’exécuter, de l’héberger et de l’adapter soi-même, selon les conditions de sa licence.
Paramètres (poids)
IntermédiaireValeurs numériques internes d’un modèle d’IA, ajustées pendant l’entraînement, qui déterminent comment il transforme une entrée en sortie et stockent ce qu’il a appris.
Quantification (quantization)
AvancéTechnique qui réduit le nombre de bits utilisés pour stocker chaque poids d’un modèle, par exemple de 16 à 8 ou 4 bits, afin de le rendre plus léger et plus rapide.
VRAM (mémoire vidéo)
IntermédiaireMémoire rapide intégrée à une carte graphique, qui stocke les paramètres du modèle et les données en cours de calcul ; sa capacité limite la taille des modèles exécutables.