Instruct NeRF2NeRF

Instruct-NeRF2NeRF заново определяет редактирование 3D-сцен с помощью текстовых инструкций. Используя возможности моделей диффузии, обусловленных изображением, InstructPix2Pix, он без проблем изменяет сцены NeRF, производя реалистичные и целенаправленные изменения в полномасштабных реальных средах.

Ключевые особенности:

• Редактирование, основанное на инструкциях: трансформируйте 3D-сцены с помощью простых текстовых инструкций, позволяющих вносить точные изменения объектов, освещения и общей эстетики.
• Реалистичные и целенаправленные изменения: создавайте высокореалистичные изменения, которые соответствуют контексту и геометрии исходной сцены, превосходя существующие методы с точки зрения реализма и точности.
• Редактирование сцен в большом масштабе: без труда редактируйте полномасштабные реальные сцены, демонстрируя масштабируемость метода и возможность обработки сложных сред.

Варианты использования:

• Превратите спокойный осенний лес в яркий весенний луг, украшенный разноцветными полевыми цветами.
• Поменяйте величественного медведя гризли на игривого панду, сохранив естественную обстановку и условия освещения.
• Измените погоду в 3D-сцене, перейдя от ясного неба к драматической снежной буре.

Заключение:

Instruct-NeRF2NeRF революционизирует редактирование 3D-сцен, предоставляя пользователям возможность манипулировать виртуальными средами с помощью инструкций на естественном языке. Его способность создавать реалистичные и целенаправленные изменения открывает новые возможности для создания креативного контента, захватывающего опыта и архитектурного дизайна.