Mixture of Contexts for Long Video Generation

#### Контекст Генерация длительных видео — это задача, требующая умения сохранять и восстанавливать важные события на протяжении долгого временного интервала. Существующие подходы, основанные на диффузионных трансформерах, сталкиваются с тем, что квадратичная стоимость самообращения приводит к проблемам с памятью и вычислительным временем при работе с длинными последовательностями. Это ограничивает эффективность и возможность применения таких моделей в реальных сценариях. Наша модель Mixture of Contexts (MoC) предлагает рефреймеринг проблемы длинного контекста в роли задачи внутреннего восстановления информации, что позволяет устранить ограничения, связанные с самообращением. #### Метод Модель MoC использует простую, но эффективную механику динамического спарсинга, которая позволяет модели выбирать только самые актуальные чанки информации из большого контекста. Механизм отбора активных чанков называется "causal routing" и предотвращает зацикливание. Такой подход эффективен в терминах вычислительных ресурсов, так как уменьшает необходимую память и увеличивает мощность модели в задаче длинного контекста. Модель обучается на больших данных и постепенно спарсивается для оптимального баланса между памятью и вычислительной сложностью. #### Результаты Мы проводили эксперименты на различных датасетах, включающих видео различной длительности. Модель показала эффективность в сохранении консистентности идентичностей, действий и сцен на протяжении минут работы. Мы сравнили результаты с другими моделями, показав значительное улучшение в качестве генерации, особенно при увеличении длительности видео. Также мы провели исследования по внедрению модели в реальные сценарии, где потребность в длинных видео-потоках критична. #### Значимость Модель MoC может применяться в различных областях, включая создание длинных роликов для социальных сетей, автоматическую синтезированную трансляцию мероприятий, и даже видео-редактирование. Одним из основных преимуществ является наиболее эффективный по сравнению с другими моделями использование ресурсов, что позволяет генерировать длинные видео в реальном времени. Это открывает новые горизонты для применения AI в широких сферах, от домашнего видео-редактирования до коммерческих применений. #### Выводы Мы доказали, что модель MoC эффективно решает проблему длинного контекста в генерации видео, обеспечивая высокую эффективность и качество. Намерение нашей команды — продолжать работу над улучшением модели, в том числе увеличивая ее масштаб и улучшая качество генерируемых видео. Мы также планируем рассмотреть модель в различных ко