## Контекст В настоящее время, методы видео-к-звуку (V2A) сталкиваются с значительными трудностями при работе в сложных многособытийных сценариях, где видео содержит несколько звуковых источников, событий или звуковых переходов. Эти ограничения могут быть связаны с недостаточной точностью выравнивания семантической информации и динамических черт, а также с недостатком количественных подходов для оптимизации критериев качества звука и временных характеристик. Эти проблемы приводят к недостаточности генерируемого аудио по сравнению с реальными сценариями. Наша мотивация заключается в развитии эффективного алгоритма, который может справиться с этими вызовами и повысить качество генерируемого аудио, даже в сложных многособытийных сценариях. ## Метод Мы предлагаем MultiSoundGen, новую V2A-модель, которая впервые внедряет метод прямой оптимизации предпочтений (DPO) в этот класс задач. Модель основывается на SlowFast Contrastive Audio-Visual Pretraining (SF-CAVP), которая разработана как универсальный подход к алгоритму AVP. SF-CAVP имеет двойную структуру потоков (два уровня времени: быстрый и медленный), что позволяет ей эффективно учитывать как статические, так и динамические аспекты видео и звука. Кроме того, мы внедряем AVP-Ranked Preference Optimization (AVP-RPO), который использует SF-CAVP в качестве модели награды для оценки и оптимизации критериев качества звука и приоритезации семантических и временных соответствий. Это позволяет нашей модели преодолевать трудности, связанные с многособытийными сценариями. ## Результаты Мы проводили многочисленные эксперименты для оценки эффективности нашего подхода. Для этого использовались различные данные, включая многособытийные сценарии с множеством звуковых источников и динамических переходов. У нас были получены замечательные результаты, показавшие существенное улучшение по сравнению с текущими методами в ключевых аспектах: распределения звуков, качество звука, семантическое выравнивание и временное синхронизирование. Наши эксперименты показали, что MultiSoundGen не только подходит для сложных сценариев, но и показывает новый состояний лучшего результата (SOTA) в этом классе задач. ## Значимость Наша модель имеет широкие возможности для применения в различных сферах, таких как разработка виртуальной реальности, интерактивных систем, аудио-визуальных моделей и даже в сфере искусственного интеллекта. Обладая высоким качеством генерируемого аудио и точной семантической алгоритмизацией, MultiSoundGen может сделать системы более удобными для пользователей и эффективными для приложений. Этот подход также открывает новы

## Контекст Восстановление пропущенных частей видео и аудио является ключевым заданием в области мультимедиа-редактирования. Однако точное удаление объектов и соответствующих им звуков из видео, не вредя остальной части сцены, остается сложной проблемой. Традиционные подходы часто не удавались в полной синхронизации между видео и аудио. В этом исследовании мы предлагаем VAInpaint — новую методологию, которая объединяет мощь машинного обучения, видео- и аудио-инпейнтинга, чтобы решить эту проблему. ## Метод VAInpaint состоит из нескольких модулей, которые обрабатывают видео и аудио с разными уровнями детализации. На первом этапе используется модель сегментации для генерации масок, отражающих области для удаления. Затем, модель inpainting видео восстанавливает удаленные области, принимая во внимание маски. Для аудио-входа, мы разработали текстово-управляемую модель сепарации, которая использует глобальные и региональные описания, сгенерированные глубокими моделями текстового понимания (LLM). Модель LLM обрабатывает общую информацию о сцене и разбирает детали регионального контента. Наконец, все входы обрабатываются моделью inpainting видео и аудио, чтобы восстановить пропущенные части. ## Результаты Мы проверили нашу модель на широком диапазоне сцен и задач видео- и аудио-вставок. Наши эксперименты показали, что VAInpaint достигает результатов, которые соответствуют или превосходят текущие лучшие решения в области inpainting. Мы также проверили эффективность нашей модели в разных условиях, включая видео с большим количеством движения и сложным аудио-содержимым. Особое внимание уделено тому, что модель VAInpaint обеспечивает высокую синхронизацию между видео и аудио. ## Значимость Наше решение может применяться в различных областях, таких как редактирование видео, виртуальная реальность, и музыкальное видео. Оно предлагает улучшенную точность и синхронизацию, что делает его полезным в различных профессиональных приложениях, включая трансляции, рекламу и домашнее видео-редактирование. Метод VAInpaint также открывает новые возможности для видео-анализа, динамического контента, и искусственного интеллекта в мультимедиа. ## Выводы Мы предлагаем VAInpaint — новую мощную методологию для видео- и аудио-вставок, которая использует модели LLM для генерации текстовых запросов. Мы продемонстрировали, что наш подход является эффективным и надежным в различных условиях, показав высокую точность и качество восстановления. В следующих исследованиях мы планируем расширить нашу модель для работы с более сложными видео и а

## Контекст Аудио-визуальная речевая распознавание (AVSR) широко применяется для улучшения распознавания речи в шумных условиях, слиянием сигналов аудио и визуальных модальностей. Однако, большинство существующих подходов ограничиваются простыми моделями симметричного объединения модальностей или единонаправленным усилением, что приводит к неэффективной обработке характерных асимметрий во входных данных. Это снижает работу моделей в условиях, где аудио и визуальные сигналы имеют разные уровни важности. Наша модель AD-AVSR предлагает новую архитектуру, основанную на бинарной модальной поддержке, чтобы улучшить глубину и точность распознавания в таких ситуациях. ## Метод Мы предлагаем фреймворм AD-AVSR, основанный на бинарной модальной расширяющей стратегии. Аудио-сигнал обрабатывается двумя разными потоками, чтобы охватить разные аспекты сигнала, и искусственно сформировать неоднородность, которая помогает в будущем совместном использовании аудио и визуальных модальностей. Модули, используемые для улучшения, включают: Audio-aware Visual Refinement Module, который улучшает визуальные сигналы, и Cross-modal Noise Suppression Masking Module, который улучшает аудио-сигналы с помощью визуальных указателей. Это создает замкнутый цикл обработки, в котором аудио и визуальные модальности взаимодействуют друг с другом. Для улучшения корреляции мы также применяем механизм уточненного выбора, который отсеивает неудачные пары. ## Результаты Мы проводили эксперименты на двух наборах данных: LRS2 и LRS3. Наши результаты показали, что AD-AVSR превышает существующие методы в роде noise robustness и speech recognition accuracy. Мы также провели анализ дополнительных экспериментов, подтверждающих эффективность нашей модели в условиях асимметричных входных данных. Наша модель демонстрирует значительное улучшение сравнительно с однонаправленными подходами. ## Значимость Предложенная модель AD-AVSR имеет широкое применение в сценариях, где качество распознавания речи требует высокой точности в шумных условиях, таких как беспроводные устройства, звонки в шумных местах и видеоконференции. Модель эффективно обрабатывает асимметричные сигналы и показывает высокую устойчивость к шумам. Благодаря своей архитектуре, AD-AVSR может быть применена в различных приложениях, включая видео-сенсорные системы, автоматическое распознавание речи в разговорных ситуациях и улучшение речевых интерфейсов в системах контроля голосом. ## Выводы Мы представили новую модель AD-AVSR для AVSR, основанную на бинарной модальной поддержке. Наши эксперименты показали, что она превосходи