TrajSV: A Trajectory-based Model for Sports Video Representations and Applications

## Контекст Область спортивных аналитики на сегодняшний день является ключевым направлением исследований как в учёной, так и в промышленной сферах. Однако в этой области существуют ряд проблем, в том числе недостаток доступных данных, отсутствие эффективных траекторий-ориентированных фреймворков и необходимость использования многочисленных супервайзед лайблов. Данные проблемы ограничивают возможности развития спортивных аналитик и снижают их точность. В данной работе предлагается модель TrajSV, которая адресует эти проблемы, обеспечивая эффективное представление траекторий видеороликов спортивных мероприятий. ## Метод TrajSV представляет собой полностью траекторий-ориентированный фреймворк, состоящий из трёх основных модулей: препроцессинга данных, сети Clip Representation Network (CRNet) и Video Representation Network (VRNet). Модуль препроцессинга извлекает траектории игроков и мяча из трансляционных видео спортивных мероприятий. CRNet, в свою очередь, использует модуль Trajectory-enhanced Transformer для извлечения клип-репрезентаций, а VRNet — для объединения этих клип-репрезентаций в единую видео-репрезентацию с помощью архитектуры encoder-decoder. Для оптимизации обучения вводится тройной контрастирующий loss, который позволяет значительно повысить качество траекторий и видео-репрезентаций, даже при отсутствии супервайзед лайблов. ## Результаты Тестирование TrajSV проводилось на трёх разных датасетах, относящихся к трём видам спорта — футболу, баскетболу и волейболу. Для сравнения использовались три важных downstream задачи: sports video retrieval, action spotting и video captioning. Результаты показали, что TrajSV превосходит существующие базовые модели, набирая почти 70% в sports video retrieval, превышая базовые модели в action spotting в 9 из 17 категорий и получая более 20% улучшения в video captioning. Эти результаты указывают на перспективность и эффективность применения TrajSV в реальных ситуациях. ## Значимость TrajSV может быть применена в различных областях, включая анализ спортивных трансляций, статистический анализ игровых действий и генерацию видео-описаний. Она обеспечивает более точное и эффективное представление траекторий, что может повысить точность других спортивных аналитических моделей. Благодаря своей траекторий-ориентированной архитектуре, TrajSV может превзойти существующие модели в трёх основных задачах, что делает её более универсальной и полезной в промышленных приложениях. ## Выводы TrajSV представляет собой прорыв в области траекторий-ориентированных моделей для представления спортивных видео. Она доказала свою эффективность на трёх различных спортивных датасетах и трёх раз