Audio Does Matter: Importance-Aware Multi-Granularity Fusion for Video Moment Retrieval
2508.04273v1
cs.IR, cs.CV, cs.MM, cs.SD, eess.AS
2025-08-09
Авторы:
Junan Lin, Daizong Liu, Xianke Chen, Xiaoye Qu, Xun Yang, Jixiang Zhu, Sanyuan Zhang, Jianfeng Dong
Резюме на русском
**Резюме**
В задаче Video Moment Retrieval (VMR) цель состоит в поиске конкретного момента, семантически связанного с заданным запросом. Однако большинство существующих подходов сосредоточены только на визуальной и текстовой информации, недооценивая аудиомодуль. Несмотря на недавние работы, опробовавшие joint reasoning для всех модулей, их дизайн тREметьющих все модальности одинаково, не учитывает их различную полезность и влияние на результат. Например, аудио может нести за собой полезную информацию или же быть полностью шумовым.
Мы предлагаем Importance-aware Multi-Granularity Fusion (IMG) model, которая адаптивно использует аудио, визуальную и текстовую информацию. Модель оценивает важность аудио-данных, используя псевдометки, и применяет контекстную связь на разных уровнях — локальном, событийном и общем. Также предложена cross-modal knowledge distillation, которая позволяет обучать модель даже при отсутствии аудио на этапе инференса.
Мы также создали новую VMR-датасет, Charades-AudioMatter, для валидации модели. Эксперименты показали, что наш подход позволяет достигать state-of-the-art результатов в audio-video fusion для VMR. Исходный код доступен на GitHub.
Abstract
Video Moment Retrieval (VMR) aims to retrieve a specific moment semantically
related to the given query. To tackle this task, most existing VMR methods
solely focus on the visual and textual modalities while neglecting the
complementary but important audio modality. Although a few recent works try to
tackle the joint audio-vision-text reasoning, they treat all modalities equally
and simply embed them without fine-grained interaction for moment retrieval.
These designs are counter-practical as: Not all audios are helpful for video
moment retrieval, and the audio of some videos may be complete noise or
background sound that is meaningless to the moment determination. To this end,
we propose a novel Importance-aware Multi-Granularity fusion model (IMG), which
learns to dynamically and selectively aggregate the audio-vision-text contexts
for VMR. Specifically, after integrating the textual guidance with vision and
audio separately, we first design a pseudo-label-supervised audio importance
predictor that predicts the importance score of the audio, and accordingly
assigns weights to mitigate the interference caused by noisy audio. Then, we
design a multi-granularity audio fusion module that adaptively fuses audio and
visual modalities at local-, event-, and global-level, fully capturing their
complementary contexts. We further propose a cross-modal knowledge distillation
strategy to address the challenge of missing audio modality during inference.
To evaluate our method, we further construct a new VMR dataset, i.e.,
Charades-AudioMatter, where audio-related samples are manually selected and
re-organized from the original Charades-STA to validate the model's capability
in utilizing audio modality. Extensive experiments validate the effectiveness
of our method, achieving state-of-the-art with audio-video fusion in VMR
methods. Our code is available at https://github.com/HuiGuanLab/IMG.