Continual Diffusion

C-LoRA améliore les modèles de diffusion texte-image pour une personnalisation continue, permettant un apprentissage séquentiel de concepts détaillés sans oublier les précédents. La méthode introduit une adaptation continue de rang inférieur autorégulée, ne nécessitant aucun stockage des données de l'utilisateur pour la relecture.

Principales fonctionnalités

• Apprentissage continu : C-LoRA permet une personnalisation continue des modèles de diffusion texte-image en apprenant séquentiellement de nouveaux concepts sans oublier les anciens.
• Adaptation de rang inférieur : La méthode utilise une adaptation de poids de rang inférieur autorégulée et continue dans les modules d'attention croisée pour mettre à jour les paramètres du modèle.
• Initialisation aléatoire des fonctionnalités : C-LoRA initialise les jetons personnalisés en tant que fonctionnalités aléatoires et supprime le nom du concept de l'invite, améliorant ainsi la flexibilité du modèle.

Cas d'utilisation

• Application mobile : une application mobile apprend séquentiellement de nouveaux concepts personnalisés, permettant aux utilisateurs de générer des photos de concepts appris précédemment à une date ultérieure.
• Personnalisation fine : C-LoRA permet une personnalisation fine des modèles texte-image, les rendant adaptés aux applications où des détails spécifiques sont importants.
• Apprentissage et génération de concepts : la méthode peut être utilisée pour enseigner de nouveaux concepts aux modèles et générer des images basées sur ces concepts.

Conclusion

La méthode C-LoRA permet une personnalisation continue des modèles de diffusion texte-image avec un apprentissage séquentiel de nouveaux concepts, surmontant ainsi le problème de l'oubli catastrophique. C-LoRA démontre des résultats de pointe, ce qui la positionne comme une solution prometteuse pour un large éventail d'applications, notamment l'apprentissage continu dans la classification d'images et la personnalisation continue dans la génération texte-image.