Gather and Trace: Rethinking Video TextVQA from an Instance-oriented Perspective
2508.04197v1
cs.CV, cs.AI
2025-08-09
Авторы:
Yan Zhang, Gangyan Zeng, Daiqing Wu, Huawen Shen, Binbin Li, Yu Zhou, Can Ma, Xiaojun Bi
Резюме на русском
## КОНТЕКСТ И ПРОБЛЕМАТИКА
Видеотекстовая визуальная вопросо-ответная система (Video TextVQA) — это задача, целью которой является ответ на вопросы путем чтения и анализа текстовой информации, содержащейся в видео. Традиционные методы, основанные на работе с отдельными кадрами (frame-level), сталкиваются с двумя ключевыми проблемами: избыточность текстовых объектов и неявное моделирование отношений между ними. Эти ограничения приводят к снижению точности и эффективности. Кроме того, существующие модели часто не учитывают динамические изменения текстовых элементов во времени, что является ключевым аспектом видеоданных.
Современные подходы к Video TextVQA обычно работают на уровне кадров, где каждый кадр анализируется независимо, что приводит к повторению вычислений и неэффективному использованию ресурсов. Кроме того, недостаточное учету динамики текста во времени приводит к неточным ответам на вопросы, особенно когда текст меняется или перемещается в рамках видео. Эти проблемы подчеркивают необходимость разработки более эффективных и точных методов, которые учитывают контекст и временное развитие текстовых элементов в видео.
## ПРЕДЛОЖЕННЫЙ МЕТОД
В данной работе предлагается новый подход к Video TextVQA, основанный на инстанс-ориентированной перспективе, которая позволяет более точно обрабатывать текстовые элементы в видео. Модель, называемая GAT (Gather and Trace), состоит из двух основных модулей: **контекстно-агрегирующего модуля сбора экземпляров** и **модуля трассировки траекторий экземпляров**.
1. **Контекстно-агрегирующий модуль**: Этот модуль интегрирует визуальные, текстовые и пространственные характеристики каждого текстового экземпляра в видео. Он собирает информацию о внешнем виде, расположении и содержании текста, объединяя ее в единое текстовое представление. Это позволяет повысить точность распознавания текста, учитывая контекст и связи между экземплярами.
2. **Модуль трассировки траекторий**: Для захвата динамических изменений текста во времени используется модуль, который устанавливает пространственно-временные связи между текстовыми экземплярами в различных кадрах. Этот модуль позволяет отслеживать траектории текстовых объектов и определяет их взаимосвязи в рамках видеопотока.
Эти модули в совокупности обеспечивают более точное и эффективное чтение текста, а также улучшают моделирование взаимоотношений между текстовыми экземплярами в динамическом видеоконтексте.
## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ
Для оценки эффективности предлагаемого метода проведены расширенные эксперименты на нескольких общедоступных наборах данных для Video TextVQA. GAT достигает высоких результатов по точности, превосходя существующие подходы. В частности, GAT превзошел состояние искусства в Video TextVQA на 3,86% по точности и одновременно обеспечил скорость вывода, превышающую скорость видео-языковых моделей в десять раз.
## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ
Предлагаемый метод GAT имеет широкое применение в областях, требующих анализа видеоданных, таких как автоматический анализ видеоконтента, поддержка принятия решений на основе видеоинформации и разработка интеллектуальных систем взаимодействия с видео. Преимущества GAT включают высокую точность, быструю скорость вывода и эффективное моделирование динамики текстовых элементов, что делает его применимым в реальных сценариях, требующих обработки видео в реальном времени.
## ВЫВОДЫ И ПЕРСПЕКТИВЫ
Предлагаемый метод GAT представляет новый подход к Video TextVQA, который учитывает контекст и динамику текстовых элементов во времени. Будущие исследования могут фокусироваться на дальнейшем улучшении точности и эффективности, а также на расширении применимости метода к более сложным видеоданным, включая мультимодальные контексты.
Abstract
Video text-based visual question answering (Video TextVQA) aims to answer
questions by explicitly reading and reasoning about the text involved in a
video. Most works in this field follow a frame-level framework which suffers
from redundant text entities and implicit relation modeling, resulting in
limitations in both accuracy and efficiency. In this paper, we rethink the
Video TextVQA task from an instance-oriented perspective and propose a novel
model termed GAT (Gather and Trace). First, to obtain accurate reading result
for each video text instance, a context-aggregated instance gathering module is
designed to integrate the visual appearance, layout characteristics, and
textual contents of the related entities into a unified textual representation.
Then, to capture dynamic evolution of text in the video flow, an
instance-focused trajectory tracing module is utilized to establish
spatio-temporal relationships between instances and infer the final answer.
Extensive experiments on several public Video TextVQA datasets validate the
effectiveness and generalization of our framework. GAT outperforms existing
Video TextVQA methods, video-language pretraining methods, and video large
language models in both accuracy and inference speed. Notably, GAT surpasses
the previous state-of-the-art Video TextVQA methods by 3.86\% in accuracy and
achieves ten times of faster inference speed than video large language models.
The source code is available at https://github.com/zhangyan-ucas/GAT.
Ссылки и действия
Дополнительные ресурсы: