MultiSoundGen: Video-to-Audio Generation for Multi-Event Scenarios via SlowFast Contrastive Audio-Visual Pretraining and Direct Preference Optimization

## Контекст В настоящее время, методы видео-к-звуку (V2A) сталкиваются с значительными трудностями при работе в сложных многособытийных сценариях, где видео содержит несколько звуковых источников, событий или звуковых переходов. Эти ограничения могут быть связаны с недостаточной точностью выравнивания семантической информации и динамических черт, а также с недостатком количественных подходов для оптимизации критериев качества звука и временных характеристик. Эти проблемы приводят к недостаточности генерируемого аудио по сравнению с реальными сценариями. Наша мотивация заключается в развитии эффективного алгоритма, который может справиться с этими вызовами и повысить качество генерируемого аудио, даже в сложных многособытийных сценариях. ## Метод Мы предлагаем MultiSoundGen, новую V2A-модель, которая впервые внедряет метод прямой оптимизации предпочтений (DPO) в этот класс задач. Модель основывается на SlowFast Contrastive Audio-Visual Pretraining (SF-CAVP), которая разработана как универсальный подход к алгоритму AVP. SF-CAVP имеет двойную структуру потоков (два уровня времени: быстрый и медленный), что позволяет ей эффективно учитывать как статические, так и динамические аспекты видео и звука. Кроме того, мы внедряем AVP-Ranked Preference Optimization (AVP-RPO), который использует SF-CAVP в качестве модели награды для оценки и оптимизации критериев качества звука и приоритезации семантических и временных соответствий. Это позволяет нашей модели преодолевать трудности, связанные с многособытийными сценариями. ## Результаты Мы проводили многочисленные эксперименты для оценки эффективности нашего подхода. Для этого использовались различные данные, включая многособытийные сценарии с множеством звуковых источников и динамических переходов. У нас были получены замечательные результаты, показавшие существенное улучшение по сравнению с текущими методами в ключевых аспектах: распределения звуков, качество звука, семантическое выравнивание и временное синхронизирование. Наши эксперименты показали, что MultiSoundGen не только подходит для сложных сценариев, но и показывает новый состояний лучшего результата (SOTA) в этом классе задач. ## Значимость Наша модель имеет широкие возможности для применения в различных сферах, таких как разработка виртуальной реальности, интерактивных систем, аудио-визуальных моделей и даже в сфере искусственного интеллекта. Обладая высоким качеством генерируемого аудио и точной семантической алгоритмизацией, MultiSoundGen может сделать системы более удобными для пользователей и эффективными для приложений. Этот подход также открывает новы