Mochi Diffusion

Mochi Diffusion переносит всю мощь Stable Diffusion непосредственно на ваш Mac с чипом Apple Silicon. Вместо использования веб-интерфейсов или ресурсоемких виртуальных сред, Mochi Diffusion задействует фреймворк Core ML от Apple для оптимизированной производительности и эффективности. Это позволяет генерировать высококачественные изображения локально, конфиденциально и со значительно сниженным потреблением памяти. Если вы ищете быстрое, нативное и офлайн-решение для Stable Diffusion на macOS, то Mochi Diffusion – это то, что вам нужно.

Основные характеристики:

• Максимальная производительность с Core ML: Использует реализацию Stable Diffusion от Apple на базе Core ML, в полной мере используя Neural Engine на чипах Apple Silicon. Это обеспечивает высокую скорость генерации изображений и минимальное потребление памяти (всего ~150 МБ с Neural Engine).

• Генерация изображений в автономном режиме: Создавайте изображения полностью в автономном режиме, гарантируя конфиденциальность и безопасность ваших данных. После начальной настройки модели не требуется подключение к интернету.

• Поддержка различных методов генерации: Помимо базовой генерации текста в изображение, Mochi Diffusion поддерживает:

• Image-to-Image (img2img): Генерация изображений на основе существующего изображения.

• ControlNet: Точный контроль над генерацией изображений с использованием моделей ControlNet.

• Встраивание метаданных в изображения: Автоматически сохраняет информацию о запросе в метаданные EXIF сгенерированных изображений. Легко просматривайте эти данные прямо в окне "Свойства" macOS Finder.

• Увеличение разрешения изображений с помощью RealESRGAN: Преобразуйте сгенерированные изображения в более высокое разрешение с помощью встроенной технологии масштабирования RealESRGAN.

• Автоматическое управление изображениями: Воспользуйтесь встроенными функциями автоматического сохранения и восстановления, обеспечивающими бесперебойное управление сгенерированными файлами изображений.

• Настройка с помощью ваших моделей: Легко интегрируйте свои собственные пользовательские модели Stable Diffusion Core ML. Mochi Diffusion разработан для бесперебойной работы с правильно преобразованными моделями, избегая распространенных проблем с "замаринованными" (pickled) моделями.

• Нативный опыт macOS: Созданный с помощью SwiftUI, Mochi Diffusion обеспечивает подлинно нативный опыт macOS, органично интегрируясь с внешним видом и функциональностью операционной системы.

Сценарии использования:

1. Быстрое прототипирование: Быстро итерируйте концепции изображений, не полагаясь на облачные сервисы и не дожидаясь удаленной обработки. Экспериментируйте с различными запросами и настройками, чтобы уточнить свое творческое видение в режиме реального времени. Пример: UX-дизайнер может быстро сгенерировать несколько вариантов элемента пользовательского интерфейса на основе эскиза (img2img) и описательного запроса.

2. Создание изображений в автономном режиме: Создавайте произведения искусства или визуальные ресурсы в средах с ограниченным или отсутствующим подключением к Интернету. Пример: Цифровой художник, находясь в путешествии, может продолжить свою работу в самолете или в удаленном месте.

3. Тонкая настройка ControlNet: Используйте ControlNet для точного управления генерацией изображений для конкретных художественных или технических целей. Пример: Архитектор может сгенерировать варианты дизайна здания на основе подробного плана этажа (ControlNet) и текстового запроса, описывающего желаемый стиль.

Технические детали:

• Варианты вычислительных блоков:

• CPU & Neural Engine: Обеспечивает оптимальный баланс между скоростью генерации и использованием памяти. Рекомендуется для большинства пользователей.

• CPU & GPU: Потенциально быстрее на M1 Max, Ultra и более поздних чипах, но потребляет больше памяти.

• Совместимость моделей:

• split_einsum версия: Совместима со всеми вариантами вычислительных блоков, включая Neural Engine.

• original версия: Совместима только с вариантом вычислительного блока "CPU & GPU".

• Управление моделями:

• Папка моделей по умолчанию: ~/MochiDiffusion/models/ (настраивается в настройках).

• Создайте подпапку внутри каталога models для каждой модели и поместите преобразованные файлы Core ML модели в эту подпапку. (См. пример структуры каталогов в предоставленной информации).

• Первое использование модели: При первом использовании модели Neural Engine может потребоваться до 2 минут для компиляции кэшированной версии. Последующие поколения с использованием этой модели будут значительно быстрее.

Заключение:

Mochi Diffusion позволяет вам использовать весь потенциал Stable Diffusion на вашем Mac с чипом Apple Silicon. Он обеспечивает непревзойденную производительность, автономные возможности и нативный опыт macOS, что делает его идеальным решением для разработчиков, художников и всех, кто ищет мощный и эффективный инструмент для генерации изображений.