Yan: Foundational Interactive Video Generation

## Контекст Область исследования сосредоточена на видеогенерации и ее интерактивном применении. Существующие проблемы включают ограниченные возможности для реального времени, неэффективные методы редактирования и недостаточное уровня гибкости при создании видео. Мотивация заключается в развитии целостного фреймворка, который объединит симуляцию, генерацию и редактирование видео в единое целое, обеспечив более высокую реальность, простоту использования и гибкость. ## Метод Фреймворк Yan состоит из трех основных модулей. **1. ААА-уровневая симуляция** основана на 3D-VAE с уменьшенным размером и низким квотом задержки, работающей в режиме real-time 1080P/60FPS. Инновационным является KV-cache-based shift-window denoising inference, обеспечивающий высокую производительность. **2. Многомодальная генерация** работает на базе диффузионных моделей, подключив игровую логику и дополнительные механизмы контроля. Это позволяет генерировать видео в реальном времени, обеспечивая возможность адаптации под конкретные задачи. **3. Многоуровневое редактирование** позволяет визуально редактировать видео с использованием текстовых инструкций, разделяя процесс на механизмы и визуальные элементы. ## Результаты Использовались различные данные для тестирования, включая различные типы видео, тексты и игровые сценарии. Результаты показывают, что Yan обеспечивает высококачественную и реальном времени симуляцию, гибкость в генерации и удобство редактирования. Он показывает сильную общительность при смешении стилей и механик из разных жанров видео. ## Значимость Yan может использоваться в различных приложениях, в том числе в играх, видеоредактировании, создании видеоконтента и даже в области тренировок. Одним из преимуществ является возможность реального времени интерактивной работы, что делает его привлекательным для разработчиков и контент-производителей. Будущие исследования будут нацелены на повышение реальности и возможности редактирования. ## Выводы Yan представляет собой совершенно новый подход к интерактивной видеогенерации, объединяя симуляцию, генерацию и редактирование в единое целое. Он предлагает новый подход к созданию видео, который может быть применен в многообразных областях. Для будущих работ планируется улучшение реальности и увеличение возможностей редактирования.