ShoulderShot: Generating Over-the-Shoulder Dialogue Videos

#### Контекст Область исследования связана с генерацией видео, в которых диалоги осуществляются с использованием перспективы вида "сзади плеча" (over-the-shoulder). Эти видео широко используются в кино, кратких драматических релизах и рекламе, так как они создают вариативность визуального оформления и усиливают эмоциональную заинтересованность зрителя. Однако, несмотря на их важность, данный тип диалоговых видео значительно мало исследован в рамках автоматической генерации видео. Основные проблемы заключаются в сохранении консистентности характеров в разных сценах, обеспечении продолжительности диалога, а также в создании визуальной и спациальной гармонии. Наша мотивация заключается в развитии методики, которая устранит эти проблемы и позволит генерировать диалоговые видео более длинных и естественных. #### Метод Мы предлагаем ShoulderShot, рамочный подход, который использует двойную генерацию видео и техники циклического воспроизведения. Основной идеей является повторное использование видео-клипа для создания лонгвиты диалога, сохраняя в то же время высокую производительность и качество. Метод состоит из двух основных этапов: генерация клипа с обратного взгляда (shot-reverse-shot) и циклической обработки для поддержания продолжительности. Мы также внедрили систему контроля консистентности характеров, чтобы обеспечить постоянность характеров в разных сценах. Это разработанное решение объединяет технологии моделирования видео, обучения с подкреплением (reinforcement learning) и мультимодальных генераций. #### Результаты Для проверки нашего подхода, мы провели эксперименты на различных наборах данных, включающих различные сцены диалогов и характеров. Мы сравнивали ShoulderShot с существующими методами, оценивая его показатели в трех ключевых областях: логичность локаций, продолжительность диалога и качество визуализации. Наши результаты показали, что ShoulderShot превосходит существующие подходы в техническом плане, обеспечивая более высокую степень продолжительности видео, гармоничность визуальных элементов и лучшее качество в выводе. Мы также продемонстрировали гибкость в генерации диалогов различных длин, что делает ShoulderShot более универсальным для практического применения. #### Значимость Наша разработка имеет широкие применения в кино, рекламе и коммуникативных технологиях. Она может быть применена для создания видео-контента, где важно сохранить продолжительность и качество диалогов. Одним из основных преимуществ ShoulderShot является его универсальность и гибкость в генерации видео диалогов, а такж