WorldForge: Unlocking Emergent 3D/4D Generation in Video Diffusion Model via Training-Free Guidance

## Контекст Видеодиффузионные модели являются мощными инструментами для задач пространственной интеллектуальности, таких как 3D/4D-генерация, благодаря их богатым латентным мировым представлениям. Однако их потенциал существенно ограничен недостаточной контролируемостью и геометрической несогласованностью. Эти недостатки приводят к значительному расхождению между их сильными латентными представлениями и реальной ценностью в приложениях, требующих точного управления движением и фотореалистичным генерированием контента. Настоящие подходы часто требуют переобучения или гиперпараметрического оптимизации моделей, что приводит к потере предобученных знаний и высоким вычислительным затратам. Необходима новая архитектура, которая бы устранила эти ограничения, обеспечив точность, эффективность и сохранение знаний. ## Метод Мы предлагаем **WorldForge**, необучаемую, временем вывода фреймворк, который состоит из трех интегрированных модулей. **Intra-Step Recursive Refinement** вводит рекурсивный механизм оптимизации сетевых предсказаний внутри каждого шага денойсинга, что позволяет внедрять точные траектории. **Flow-Gated Latent Fusion** использует сходство оптического потока для разделения движения от визуального внешнего вида в латентном пространстве, чтобы выбирать узлы для внедрения траектории. **Dual-Path Self-Corrective Guidance** сравнивает руководящие и неруководящие пути денойсинга, чтобы адаптивно исправлять дрейф траекторий, вызванный шумом или несоответствием структуры. Эти модули работают вместе, чтобы внедрить тонконосимультные, траекторию-ориентированные предсказания без необходимости переучивания, обеспечив точность управления движением и фотореалистичность генерируемого контента. ## Результаты Мы проверили WorldForge на нескольких тестовых наборах данных для задач 3D/4D-генерации и показали его превосходство по сравнению с современными методами по нескольким ключевым показателям: реализм, консистентность траектории и визуальная фидлити. Наши эксперименты демонстрируют, что метод обеспечивает точное управление движением, значительно лучше текущих подходов, которые зависят от переучивания и требуют высоких вычислительных затрат. Это доказывает сильную эффективность и практическую ценность нашего подхода в задачах управляемой генерации видео. ## Значимость WorldForge открывает новые горизонты для применения видеодиффузионных моделей в многочисленных задачах пространственной интеллектуальности, таких как синтез видео, анимация, виртуальная реальность и 3D-моделирование. В отличие от предыдущих подходов, он