CAViAR: Critic-Augmented Video Agentic Reasoning

#### Контекст Видеопонимание получило значительный прорыв в последние годы, с улучшением производительности моделей в задачах восприятия коротких видеоклипов. Однако недавние бенчмарки, такие как LVBench, Neptune и ActivityNet-RTL, показывают, что производительность снижается при обработке задач, требующих сложного рассуждения над видео. Это происходит в силу усложнения запросов и увеличения длины видео. В данной работе мы задаем следующий вопрос: могут ли существующие возможности видеопонимания быть эффективно использованы для решения более сложных задач видеорассуждения? Мы предлагаем развить агента, основывающегося на большом языковом модели, и использующего модули видео-понимания в качестве подагентов или инструментов. Наш агент определяет последовательность действий не по фиксированной схеме, как в таких работах, как Visual Programming, ViperGPT и MoReVQA, а исходя из результатов каждого вызова модуля. Мы вдохновились подходом, используемым в текстовом рассуждении, и внедрили критика, который отличает успешные от неудачных последовательностей действий. Мы продемонстрировали, что комбинация агента и критика показывает высокую производительность на упомянутых данных. #### Метод Мы предлагаем **CAViAR (Critic-Augmented Video Agentic Reasoning)**, который состоит из двух компонентов: **агента** и **критика**. Агент использует модули видео-понимания для выполнения задач по рассуждению над видео. Он работает по принципу рекурсивного вызова модулей, определяя последовательности действий на основе результатов каждого вызова. Критик, в свою очередь, анализирует результаты каждого шага и выявляет, насколько соответствуют они успешному завершению задачи. Мы реализовали несколько моделей, включая **CLIP** и **ViT** в качестве модулей видео-понимания, и использовали **LLM-based agent** для управления последовательностью. Также мы разработали новую архитектуру, которая позволяет связать сложные задачи видеопонимания с моделями текстового понимания. #### Результаты Мы провести эксперименты на трех популярных датасетах: LVBench, Neptune и ActivityNet-RTL. Наш агент с критиком показал значительное улучшение в сравнении с предыдущими подходами. Мы оценили производительность по следующим метрикам: **F1-score**, **accuracy** и **recall**. В результате CAViAR был в состоянии решать задачи сложного рассуждения, в том числе над длинными видео, с более высокой точностью. Мы также провёл эксперименты с разными конфигурациями модулей видео-понимания и показали, что наша архитектура гибко адаптируется к различным ситуациям. #### Значимость Результаты CAViAR открывают новые возможности для сложного видео-рассуждения. Мы показали, что