Omni-Effects: Unified and Spatially-Controllable Visual Effects Generation

################################# ## Контекст ################################# Визуальные эффекты (Visual Effects, VFX) являются ключевым компонентом современного кинематографа, добавляя натуральность и животность к изображениям. Изначально, эти эффекты были создаваемыми ручками разработчиков, но в последние годы появились методы, позволяющие использовать модели генерации видео для создания эффектов. Тем не менее, существующие модели строятся на архитектуре LoRA (Low-Rank Adaptation) и требуют подготовки отдельных моделей для каждого эффекта, что ограничивает их мощность. Эта проблема вызывает необходимость в разработке универсальной модели, которая способна генерировать несколько эффектов одновременно и контролировать их расположение в изображении. Таким образом, целью данных исследований является создание модели, которая может объединить различные эффекты в единую модель и обеспечить их контроль в пространстве. ################################# ## Метод ################################# Разработанная модель Omni-Effects представляет собой впервые созданную архитектуру, способную генерировать несколько визуальных эффектов одновременно и контролировать их положение в изображении. Основой модели является LoRA-based Mixture of Experts (LoRA-MoE), которая соединяет различные эффекты в единую модель, минимизируя влияние пространственного разделения между ними. Для повышения контрольности, введена Spatial-Aware Prompt (SAP), которая внедряет информацию о масках в текстовые токены, что позволяет контролировать расположение эффектов в пространстве. Также, внутри SAP используется Independent-Information Flow (IIF), который изолирует сигналы управления для каждого эффекта, чтобы избежать смешения сигналов. Датасет для обучения и тестирования Omni-Effects был создан с помощью собственной технологии FLF2V, которая объединяет изображения и видео для создания датасета VFX. ################################# ## Результаты ################################# Для проверки работы модели Omni-Effects был проведен набор экспериментов с использованием сгенерированного датасета Omni-VFX. Модель имела высокую точность в пространственном разместивании эффектов и способность генерировать различные эффекты, включая единичные и комбинированные. Гибкость и точность работы демонстрируются на примерах генерации таких эффектов, как затенение, огонь и ночной освещенный режим. Основным достижением является удачное решение проблем выделения пространственного размещения эффектов и уменьшения влияния между ними в единой модели. ################################# ## Значимость ################################# Модель Omni-Effects открывает новые возможности в области визуальных эффектов, позволяя создавать кинематографические эффекты в реальном времени. Это решение может быть применено в различных областях, включая кино, игры, рекламу и AR-