Step1X-Edit

Step1X-Edit — это передовая модель редактирования изображений с открытым исходным кодом, разработанная для того, чтобы привнести сложные возможности редактирования на основе инструкций в открытый доступ. Если вы работаете с генерацией или обработкой изображений, вы оцените ее способность интерпретировать сложные инструкции на естественном языке и выдавать результаты, приближающиеся к качеству ведущих закрытых систем, таких как GPT-4o и Gemini Flash. Step1X-Edit, построенная на прочном фундаменте и прошедшая тщательную оценку, позволяет вам расширить границы творческого и практического редактирования изображений.

Основные возможности

Step1X-Edit использует мощную архитектуру с 19 миллиардами параметров, сочетающую в себе 7B Multimodal Large Language Model (MLLM) для понимания инструкций и 12B Diffusion Image Transformer (DiT) для генерации изображений. Эта структура обеспечивает несколько ключевых функций:

• 🗣️ Выполнение сложных семантических инструкций: Обрабатывайте нюансированные, многоступенчатые подсказки на естественном языке без необходимости использования предопределенных шаблонов. Это обеспечивает гибкие, итеративные рабочие процессы редактирования и поддерживает такие задачи, как распознавание, замена и реконструкция текста на изображениях.

• 👤 Последовательное сохранение идентичности субъекта: Сохраняйте важные особенности идентичности, такие как лица и позы, во время редактирования. Это особенно ценно для приложений, связанных с виртуальными персонажами, изображениями моделей электронной коммерции или последовательным изображением персонажей на нескольких изображениях.

• 🎯 Применение высокоточных региональных изменений: Изменяйте определенные области изображения — корректируйте текст, материалы или цвета — сохраняя при этом общую согласованность и стиль исходного изображения. Это позволяет выполнять целенаправленные, реалистичные корректировки.

Техническая база и производительность

Для обеспечения высокого качества выходных данных Step1X-Edit была обучена с использованием тщательно разработанного конвейера генерации данных. Ее производительность не является просто теоретической; мы разработали GEdit-Bench, новый эталон, основанный на реальных инструкциях пользователей, для обеспечения аутентичной оценки.

• Проверенный эталон: Экспериментальные результаты на GEdit-Bench показывают, что Step1X-Edit значительно превосходит существующие альтернативы с открытым исходным кодом.

• Конкурентное преимущество: Модель демонстрирует возможности, которые близко соперничают с возможностями ведущих проприетарных моделей, делая расширенное редактирование более доступным.

Практические примеры использования

Вот как Step1X-Edit можно применять в реальных сценариях:

1. Преобразование сложной сцены: Представьте, что вам нужно изменить стиль декора комнаты и заменить определенный объект в ней, и все это описано в одной инструкции на естественном языке. Step1X-Edit может точно анализировать и выполнять такие многокомпонентные запросы.

2. Последовательная ретушь персонажей: Для проектов, требующих виртуальных влиятельных лиц или согласованного внешнего вида моделей электронной коммерции, вы можете использовать Step1X-Edit для изменения одежды или фоновых элементов, гарантируя при этом, что черты лица и поза человека останутся неизменными и согласованными на всех изображениях.

3. Целевые обновления брендинга: Необходимо обновить логотип или текст на упаковке продукта на маркетинговом изображении? Step1X-Edit позволяет вам беспрепятственно вносить эти точные региональные изменения, сохраняя окружающие детали и текстуры изображения.

Начало работы: использование и требования

Step1X-Edit предназначена для сред с производительным оборудованием. Вот краткий обзор потребностей в ресурсах:

• Память графического процессора: Требования варьируются в зависимости от конфигурации (например, вывод 512px, 28 шагов с flash-attn):

• Стандартный: ~42,5 ГБ

• FP8 Quantized: ~31 ГБ

• Стандартный + разгрузка ЦП: ~25,9 ГБ

• FP8 + разгрузка ЦП: ~18 ГБ

• (Примечание. Большее разрешение увеличивает потребности в памяти. Протестировано на NVIDIA H800; для оптимальной производительности рекомендуется использовать графические процессоры с 80 ГБ.)

• Программное обеспечение: Python >= 3.10, PyTorch >= 2.2 (протестировано с 2.3.1/2.5.1 на CUDA 12.1) и конкретные зависимости, такие как flash-attn.

• Установка: Доступны подробные инструкции, в том числе pip install -r requirements.txt и установка соответствующего flash-attn wheel.

• Вывод: Предоставлены примеры скриптов (run_examples.sh), чтобы помочь вам быстро начать работу, с флагами для использования весов FP8 (--quantized) или разгрузки ЦП (--offload) для управления использованием ресурсов.

Заключение

Step1X-Edit представляет собой значительный шаг вперед для редактирования изображений с открытым исходным кодом. Он предлагает мощное сочетание нюансированного понимания инструкций, высокой точности вывода и точного управления, подкрепленное высокими показателями производительности. Для разработчиков и исследователей, ищущих мощную, доступную и универсальную модель редактирования изображений, Step1X-Edit предоставляет убедительное решение, готовое к интеграции и дальнейшему изучению.