ControlNet
Méthode publiée en 2023 qui ajoute un contrôle spatial précis à un modèle de diffusion, en le conditionnant sur des contours, une pose humaine, une carte de profondeur ou un croquis.
Exemple
Un architecte dessine les contours d’une façade et utilise ControlNet pour générer plusieurs rendus réalistes qui respectent exactement ses proportions.
Notions liées
Modèle de diffusion
IntermédiaireModèle génératif qui apprend à retirer progressivement le bruit d’une donnée, afin de créer à partir d’un bruit aléatoire une image, une vidéo ou un son cohérent.
Fine-tuning (affinage)
IntermédiaireTechnique qui poursuit l’entraînement d’un modèle déjà pré-entraîné sur un jeu de données plus restreint, afin de modifier ses poids et de l’adapter à une tâche, un domaine ou un style.
Inpainting (retouche ciblée)
IntermédiaireTechnique de génération qui modifie ou remplace uniquement une zone sélectionnée d’une image, en harmonisant le résultat avec le reste de la scène.
LoRA (Low-Rank Adaptation)
AvancéMéthode de fine-tuning économe qui gèle les poids d’origine d’un modèle et n’entraîne que de petites matrices de bas rang ajoutées à certaines de ses couches.
Texte vers image (text-to-image)
DébutantTâche d’IA générative qui consiste à produire une image inédite à partir d’une description écrite, le prompt, en interprétant le sujet, le style et la composition demandés.