A CLIP-based Uncertainty Modal Modeling (UMM) Framework for Pedestrian Re-Identification in Autonomous Driving

## Контекст Re-Identification (ReID) является ключевым компонентом интеллектуальных систем перцепции, особенно в контексте автономного вождения. Данная технология позволяет системам автомобилей запоминать идентификацию пешеходов независимо от вида или времени наблюдения. Эта функция критична для обеспечения безопасной навигации и прогнозирования траекторий движения. Однако использование ReID сталкивается с значительными вызовами, в том числе с отсутствием или неполностью доступными входными модальностями, такими как RGB-изображения, инфракрасные снимки, эскизы или текстовые описания. Традиционные ReID-модели чувствительны к этим недостаткам, что приводит к ухудшению точности и надежности. Наша мотивация состоит в разработке эффективной, легковесной и универсальной модели ReID, которая может справиться с этими недостатками в реальном времени. ## Метод Мы предлагаем Uncertainty Modal Modeling (UMM), современную архитектуру ReID, которая объединяет несколько подходов для решения проблем неполных или отсутствующих модальностей. Основные компоненты UMM: Multimodal Token Mapper (MTM), который морфирует входные данные разных модальностей в единую структуру; Synthetic Modality Augmentation (SMA), стратегия гибридного подхода, способная воссоздавать отсутствующие модальности; Cross-Modal Cue Interactive Learner (CMIL), который обеспечивает кросс-модальный обмен сигнальной информацией. Кроме того, UMM восползуется мощью CLIP (Contrastive Language-Image Pretraining) для эффективного слияния входных модальностей без тяжеловесной подготовки модели. ## Результаты Мы проводили эксперименты на широко известных датасетах ReID, таких как VeRi и CityFlow, чтобы оценить точность и надежность UMM. Мы сравнивали результаты с традиционными методами, такими как AlignedReID и BASNet. Наши эксперименты показали, что UMM показала значительное улучшение в точности и уменьшила расхождения в результатах при отсутствии или внезапном отсутствии модальности. Мы также оценили эффективность UMM на ресурсоемких и сложных условиях вождения, показав высокую скорость обработки и низкий расход ресурсов. ## Значимость UMM имеет широкие применения в системах автономного вождения, включая сценарии управления трафиком, трекинга пешеходов и безопасности пешеходов. Основное преимущество UMM заключается в ее легковесной архитектуре, которая позволяет развернуть модель на промышленном уровне без значительных затрат на вычислительные ресурсы. Эта модель также расширяет полезность ReID в интеллектуальных системах, кроме автомобилей, таких как безопасность населенных пунктов и системы поиска людей. ## Выводы В результате, UMM достигла высокой точности и надежности при обработке не