Cinéaste: A Fine-grained Contextual Movie Question Answering Benchmark

## Контекст Область исследования затрагивает развитие моделей визуального понимания и их применение в контекстной работе с видео. Несмотря на успехи в области визуально-языковых моделей, оценка их умения решать задачи, требующие глубокого контекстного понимания, остается затруднительной. Существующие бенчмарки часто ограничиваются краткими клипами или вопросами шаблонного характера, не подходящими для оценки работы моделей в более технически сложных сценариях, таких как работа с длительным хронологическим контентом. Рассматриваемая работа стремится заполнить этот пробел, предлагая Cinéaste — бенчмарк, ориентированный на глубокое контекстное обоснование для длительных видео. ## Метод Cinéaste использует 3,119 множественно-выборочных вопросов-ответов, построенных на 1,805 сценах из 200 разных фильмов. Для генерации вопросов используется GPT-4o, который интегрирует визуальные описания, капшны, названия сцен и сводки фильмов. Для фильтрации вопросов введены два этапа: Context-Independence Filtering, гарантирующий, что вопросы требуют контекста видео, и Contextual Veracity Filtering, проверяющий корректность ответов в свете конкретного контента фильма. Это позволяет создавать более глубокие и сложные вопросы, принуждая модели визуального понимания построить логические выводы, базируясь на длительном контексте. ## Результаты На платформе Cinéaste, обученные модели столкнулись с сильными ограничениями в достижении высокой точности. Открытые модели, к примеру, демонстрируют только 63.15% точности, что говорит о сложности задачи. Эксперименты показали, что сложность заключается в том, что модели столкнулись с трудностями в логическом рассуждении по длительному видеоконтенту. Это отражает потребность в развитии моделей, способных выполнять глубокое контекстное разумение в терминах длительных видео. ## Значимость Cinéaste представляет собой значительный вклад в область контекстного понимания видео. Его применение может быть распространено в задачах, требующих высокого уровня контекстного взаимодействия, таких как анализ контента видео, создание новых тестовых средств и дальнейшее развитие моделей для работы с длительными видео. Работа позволяет увидеть значительный потенциал в развитии новых подходов, которые могут продвинуть границы технического понимания видеоконтента. ## Выводы Результаты экспериментов подтвердили сложность задачи контекстного понимания в длительных видео. Ограничения моделей в логическом рассуждении становятся основным барьером для достижения высокой точности. Будущие исследования будут сосредоточены на разви