Context-Aware Zero-Shot Anomaly Detection in Surveillance Using Contrastive and Predictive Spatiotemporal Modeling

#### Контекст Идентификация аномалий в видеослеживании является задачей ключевой важности в области безопасности и управления трафиком. Однако, это очень сложно ввиду непредсказуемости поведения и контекстной зависимости событий. Традиционные подходы часто требуют больших объемов обучающих данных, включая примеры аномалий, что усложняет обнаружение непонятных или новых типов аномалий. Более того, традиционные методы часто не учитывают динамический контекст, что приводит к высокому количеству ложноположительных результатов. Данная работа рассматривает эти проблемы, предлагая новый контекстно-зависимый подход к обнаружению аномалий, который может обнаруживать непонятные события без необходимости использования примеров аномалий во время обучения. #### Метод Предлагаемая модель является гибридной и сочетает в себе несколько современных техник. Основным компонентом является TimeSformer, который используется для извлечения богатых спектров пространственно-временных признаков из видео. Для моделирования будущих представлений используется Deep Predictive Coding (DPC), которое позволяет определять временные отклонения. Для понимания семантического контекста используется CLIP (Contrastive Language-Image Pretraining), который позволяет определять аномалии на уровне понятий, используя контекстные текстовые запросы. Эти компоненты объединены в единую архитектуру, где TimeSformer извлекает пространственно-временные признаки, DPC предсказывает будущие признаки, а CLIP определяет семантические отклонения. Для оптимизации модели применяются потери InfoNCE и CPC, которые позволяют выравнивать визуальные признаки с их временными и семантическими представлениями. Кроме того, введен контекстный модуль, который регулирует предсказания с учетом локальных и глобальных контекстов. #### Результаты Для оценки эффективности разработанной модели проводились эксперименты на различных выборках видео, включая широко известные наборы данных для обнаружения аномалий. Удалось показать, что предлагаемый подход превосходит существующие методы по метрикам F1-score и ROC-AUC. Особое внимание уделено ситуациям, когда модель должна обнаруживать аномалии в неизвестных сценариях и контекстах. Результаты показали, что модель в состоянии обнаруживать такие аномалии с высокой точностью, даже если они не были видны во время обучения. Это свидетельствует о высокой универсальности и надежности разработанного подхода. #### Значимость Предлагаемый подход имеет широкие перспективы применения в различных областях, включая безопасность, мониторинг трафика, интеллектуальные системы управления. Он может использоваться для обнаружения нестандартных ситуаци