Cut2Next: Generating Next Shot via In-Context Tuning

## Контекст Многошаговое генерирование видео требует строгого соблюдения направления и выразительности. Однако существующие методы часто сфокусированы на визуальной консистенции, не учитывая развития истории и кинематографических паттернов, которые необходимы для насыщенной и гармоничной истории. Мы предлагаем библиотеку Cut2Next для генерирования следующего кадра с помощью ин-контекстного уточнения. Она сочетает в себе трансформеры Diffusion (DiT) и новую стратегию верхнеуровневого вмешательства. Эта стратегия включает в себя целостные и взаимосвязанные сигналы для определения текстового контекста, редактирования и визуальных атрибутов. Наша модель учитывает все эти аспекты, чтобы создавать динамичные и научно корректные сцены, полностью соответствующие профессиональным стандартам кино. ## Метод Cut2Next основывается на Diffusion Transformer (DiT), который использует ин-контекстное уточнение с помощью Hierarchical Multi-Prompting (HMP). Эта стратегия включает в себя два типа стимулов: Relational Prompts (для целостного контекста) и Individual Prompts (для подробностей каждого кадра). Модель также включает два инновационных компонента: Context-Aware Condition Injection (CACI) и Hierarchical Attention Mask (HAM). CACI обеспечивает интеграцию нескольких источников сигналов, а HAM управляет вниманием в зависимости от ранга кадра. Эти технологии позволяют модели работать с высокой точностью и сохранять гармонию с редактированием и историей. ## Результаты Мы провели эксперименты на двух новых больших данных: RawCuts и CuratedCuts, каждый с верхнеуровневыми стимулами. Мы также представили CutBench — метрику для оценки качества следующего кадра. Результаты показали, что Cut2Next превосходит существующие методы в консистенции визуального содержимого и точности в задании текстового содержания. Разработанные пользовательские исследования показали, что Cut2Next предпочтительнее в выражении желаемых редактируемых паттернов и обеспечении кинематографической непрерывности. ## Значимость Мы видим широкие реализационные возможности для Cut2Next в области кино, интерактивных медиа и платформ широкого потребления. Она может повысить эффективность производства видео, обеспечивая профессиональное качество и синхронность. Модель также открывает новые возможности для создания глубоких и кинематографически многослойных историй. Кроме того, в будущем можно расширить её возможности для интерактивных и виртуальных реалий, где глубокая редактирования и выразительность ключевыми характеристиками. ## Выводы Cut2Next — это первый подход, который сочетает в себя высокое качество, кинематографическую непрерывно