TAR-TVG: Enhancing VLMs with Timestamp Anchor-Constrained Reasoning for Temporal Video Grounding

## Контекст Temporal Video Grounding (TVG) — это критическая задача в области понимания длительных видео, которая предполагает точное определение видео-сегментов, соответствующих натуральным языковым запросам. Несмотря на то, что существующие подходы, основанные на различных моделях, показывают достижения в этой области, они либо не достаточно эффективны, либо не обеспечивают достаточную точность результатов. Это вызвано тем, что причинительные модели часто пропускают важные этапы рассуждений, что приводит к неточностям в темпоральных предсказаниях. Мотивация для данного исследования заключается в развитии более точной модели TVG, которая бы оптимально решала эту проблему. ## Метод Для решения этой проблемы мы предлагаем фреймворк TAR-TVG (Timestamp Anchor-Constrained Reasoning for Temporal Video Grounding). Методология состоит в введении timestamp anchors (тайм-стамп-заместителей) в процесс рассуждений, чтобы обеспечить дополнительный механизм контроля качества. Эти заместители функционируют как интермедиарии в процессе вывода, принуждая модель выполнять последовательные шаги рассуждений, которые приводят к все более точным темпоральным оценкам. Для повышения эффективности, мы предлагаем трехэтапную стратегию обучения: начальное генеративно-распространяющее обучение (GRPO) для создания высококачественных трасс рассуждений, супервизированное оптимизационное тренирование (SFT) на сгенерированных данных, и, наконец, дополнительное генеративно-распространяющее обучение на улучшенной модели. ## Результаты В ходе экспериментов мы проверили TAR-TVG на различных датасетах, таких как ActivityNet Captions и Charades-STA. Наши результаты показывают, что TAR-TVG не только превышает текущие лидеры по точности результатов, но и обеспечивает интерпретируемые, выверяемые логические цепочки рассуждений. Мы также провели анализ того, как различные компоненты фреймворка влияют на качество результатов, включая вклад каждого из этапов обучения. ## Значимость Заключается в том, что TAR-TVG может быть применено в различных сценариях, включая автоматический текстовый описательный анализ видео, мониторинг видео-трансляций, и поиск информации в видео. Этот подход не только улучшает точность, но и обеспечивает прозрачность и возможность верификации работы модели, что является критическим для применения в реальных ситуациях. ## Выводы Мы предложили новую модель TVG, которая включает timestamp anchors в процесс рассуждений. Это позволяет повысить точность и обеспечить возможность проверки работы модели. Таким образом, TAR-TVG обеспечивает новый шаг в развитии методологий для точного темпорального видео-разминки. В дальнейшем мы планируем расширить мо