Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception

#### Контекст Dense visual perception tasks, такие как 2D детекция и сегментация, 3D инстанс сегментация, видео инстанс сегментация и 6D объектное позиционирование, широко применяются в различных областях, включая искусственный интеллект, робототехнику и автоматизацию. Однако их развитие сильно ограничивается тем, что эти задачи обычно определяются через предварительные категории, что сокращает их применение в реальном мире, где объекты и сцены могут включать неограниченное количество визуальных понятий. Хотя Vision-Language Models (VLMs), такие как CLIP, продемонстрировали способность работать в open-vocabulary режиме, их прямое применение к dense perception часто приводит к ограниченным результатам. Это связано с недостатком в четкой локальной репрезентации фичей и несогласованностью в их пространственной организации. #### Метод Для решения этих проблем мы предлагаем **DeCLIP**, новую модель, которая расширяет CLIP, разделив self-attention модуль на два отдельных модуля: "content" и "context". **Content features** (фичи контента) обладают высокой дискриминативностью и стабильностью, их получают путем контрастного сравнения с изображений, обученными на Vision Foundation Models (VFMs). Для улучшения **context features** (фичей контекста), DeCLIP использует диффузионные модели, объединяя семантические зависимости и интегрируя представления объектов. Таким образом, DeCLIP обеспечивает лучшую пространственную консистентность и дискриминативность, позволяя эффективно решать задачи open-vocabulary dense perception. #### Результаты Мы провести эксперименты на различных данных, включая COCO, LVIS, SUN RGB-D, nuImages, nuScenes и Objectron. Модель DeCLIP показала существенное превосходство по сравнению с другими подходами, достигнув state-of-the-art результатов во всех задачах, таких как 2D детекция, сегментация, 3D инстанс сегментация, видео инстанс сегментация и 6D позиционирование. Например, в 2D segmentation DeCLIP показал **mIoU = 55.2%**, что значительно превосходит предыдущие результаты. Эти результаты подтверждают мощь модели в обеспечении точной и консистентной dense perception. #### Значимость DeCLIP может применяться в различных областях, где требуется высокая точность и обобщаемость в задачах визуального распознавания. Оптимизированная структура DeCLIP позволяет работать с неограниченным количеством визуальных понятий, что делает ее полезной в сценах с богатым контекстом, таких как smart cities, autonomous driving и robot vision. Благодаря улучшенной пространственной консистентности и дискриминативности, DeCLIP положительно влияет на приложения, такие как поиск и распознавание объектов, автоматизированная система контроля качества и системы распознавания в робототехнике. #### Выводы Мы представили **DeCLIP**, новую модель, котора