Improved 3D Scene Stylization via Text-Guided Generative Image Editing with Region-Based Control

## Контекст Одним из основных направлений в искусственном интеллекте является 3D-сценарии стилизация, которая позволяет преобразовывать пространственные структуры с помощью текстовых инструкций. Теперь, благодаря развитию технологий генерирующих изображений, возможно реализовать эти сценарии в 3D-пространстве. Однако существуют ряд проблем, которые необходимо решить. В частности, требуется обеспечить высокое качество стилизации, интеллектуальный способ контроля стиля в разных областях сцены и сохранение консистентности вида при перекрытии различных углов вида. ## Метод Мы предлагаем метод, который улучшает 3D-сценарии стилизации, делая это более точным и контролируемым. Метод заключается в переусвоении 3D-представления исходной сцены на основе стаилизированных 2D-изображений. Это достигается за счет расширения фреймфорка стилизованного глубинного распознавания вида, в котором заменяется полностью общий механизм внимания на специальный, ориентированный на специфические сегменты. Это позволяет сохранить взаимную аллигацию стиля между различными видами. Для улучшения контроля за стилем в изображениях мы вводим новую методику, основанную на трёхмерном восстановлении, которая позволяет добиться более точного управления стилем в определенных областях. Также, для улучшения качества стилизации мы разрабатываем специальный метод группировки данных, который позволяет стилизовать разные области сцены с требуемой точностью. ## Результаты Мы провели эксперименты с существующими методами, чтобы проверить эффективность нашего подхода. Мы использовали данные с различных источников, чтобы оценить степень улучшения 3D-стилизации. У нас были достигнуты следующие результаты: высокое качество стилизации, оптимизированное время подготовки и новые возможности для управления стилем в разных областях сцены. Эксперименты также показали, что наш подход эффективен в различных сценариях и позволяет добиться значительного улучшения качества стилизации. ## Значимость Метод, предложенный нами, может быть применён в различных областях, включая виртуальную реальность, графику или 3D-интерфейсы. Наш подход не только повышает качество 3D-стилизации, но и обеспечивает более гибкие возможности контроля стиля и консистентности вида. Это может потенциально повлиять на развитие ряда технологий, связанных с 3D-интерфейсами и виртуальными реалиями, и позволит разработчикам создавать более натуральные и привлекательные 3D-сцены. ## Выводы Мы предложили метод для улучшения 3D-стилизации, основанный на