Continual Diffusion

C-LoRA улучшает диффузные модели преобразования текста в изображение для постоянной настройки, позволяя последовательно изучать детальные концепции, не забывая о предыдущих. Метод представляет собой постоянно саморегулируемую адаптацию низкого ранга, не требующую хранения пользовательских данных для воспроизведения.

Ключевые особенности

• Непрерывное обучение: C-LoRA позволяет непрерывно настраивать диффузные модели преобразования текста в изображение, последовательно изучая новые концепции и не забывая о прошлых.
• Адаптация низкого ранга: Метод использует постоянную саморегулирующую адаптацию веса низкого ранга в модулях перекрестного внимания для обновления параметров модели.
• Случайная инициализация функций: C-LoRA инициализирует пользовательские токены как случайные функции и удаляет название концепции из подсказки, повышая гибкость модели.

Варианты использования

• Мобильное приложение: мобильное приложение последовательно изучает новые настраиваемые концепции, позволяя пользователям создавать фотографии ранее изученных концепций в будущем.
• Детальная настройка: C-LoRA позволяет выполнять детальную настройку моделей преобразования текста в изображение, делая их подходящими для приложений, где важны конкретные детали.
• Изучение и создание концепций: метод можно использовать для обучения моделей новым концепциям и создания изображений на основе этих концепций.

Заключение

Метод C-LoRA позволяет непрерывно настраивать диффузные модели преобразования текста в изображение с последовательным изучением новых концепций, преодолевая проблему катастрофического забывания. C-LoRA демонстрирует самые современные результаты, что делает его перспективным решением для широкого спектра приложений, включая непрерывное обучение в классификации изображений и непрерывную настройку при преобразовании текста в изображение.