Plug-in Feedback Self-adaptive Attention in CLIP for Training-free Open-Vocabulary Segmentation

Название: Plug-in Feedback Self-adaptive Attention in CLIP for Training-free Open-Vocabulary Segmentation ## Контекст Segmentation области, задействующая визуально-текстовые представления, является ключевым в области глубокого обучения. Однако существуют значительные проблемы, связанные с отсутствием локализации и неполной семантической согласованности между внутренними представлениями и выходными прогнозами. Особенно это актуально для open-vocabulary segmentation. Например, в CLIP, хотя он демонстрирует мощные возможности в visual-textual alignment, он сталкивается с трудностями в процессе предсказания идеальных сегментаций, в частности на тестовых данных с отклонениями от обучающих данных. Эти ограничения вызваны нехваткой представления позиционной информации и неэффективным представлением текстовых семантик. ## Метод Мы предлагаем метод заключающийся в улучшении intermediate attention с помощью output feedback. Фреймворк организован вокруг элементарных модулей, которые позволяют выравнивать промежуточные семантические представления с помощью обратной связи от прогнозов. Мы вводим архитектуру с attention isolation, которая позволяет локализировать и улучшать процесс взаимодействия семантических слоев. Далее, мы применяем к этой конфигурации confidence-based pruning для более точной регулировки процесса. Наконец, мы используем adaptation ensemble для объединения нескольких моделей в полноценное и гармоничное решение. ## Результаты Метод был протестирован на 8 задач семантической сегментации, используя сразу 4 современных модели CLIP с разными бэкбонами (ViT-B, ViT-L, ViT-H). Мы проверили его с разными видами attention, включая Q-K, self-self, Proxy с MAE, SAM и DINO. Наши результаты показывают, что наша система значительно улучшает качество прогнозов по сравнению с базовыми моделями. Особенно выражено это на тестовых данных, отличающихся от обучающих. ## Значимость Наш метод может использоваться в абсолютно разных задачах семантической сегментации, включая области, где требуется высокая точность и семантическая согласованность. Он не требует дополнительного обучения и может быть выполнен в реальном времени. Значительное преимущество заключается в том, что он может быть применен как plug-in модуль к уже существующим моделям без нужды в глубокой модификации их архитектуры. ## Выводы В итоге, мы предложили новую методику для обучения-free улучшения процесса семантической сегментации с помощью self-adaptive attention в CLIP. Метод доказал свою эффективность и может повысить качество работы не только CLIP но и других моделей, использующих визуально-текстовые представления. Мы планируем дальнейшие исследования в области создания еще более универсальных и эффективных фреймворков для глубокого обучения.