Semantic Concentration for Self-Supervised Dense Representations Learning

#### Контекст Органиченные изображения часто содержат многочисленные объекты различных классов, образуя сложные сцены. Для самостоятельно полученных (self-supervised) методов обучения детальных представлений (dense representations) это представляет вызов, так как методы, ориентированные на изображение целиком, часто страдают от разброса представлений патчей (over-dispersion), что сказывается на качестве решения задач связанных с патчами. Недостаток в текущих подходах в том, что они недостаточно учитывают семантические связи между патчами в пределах одного изображения. Мы предлагаем новый подход, основанный на семантической концентрации, чтобы улучшить методы обучения представлений для патчей. #### Метод Мы предложили два основных вклада для улучшения семантической концентрации в dense self-supervised learning. Во-первых, мы предложили метод, основанный на знании патчей (knowledge distillation), чтобы извлечь соответствия между патчами в условиях шума и несбалансированных псевдометок. Для этого мы расширили определение Average Precision Loss, чтобы он мог работать с непрерывными целями, и добавили адаптивный фокус, чтобы избежать преувеличения влияния шума. Во-вторых, мы предложили объектно-ориентированный фильтр, который преобразует пространство представлений в пространство, ориентированное на объекты. Это достигается с помощью кросс-аттенции, которое позволяет патчам быть представленными как прототипы объектов. #### Результаты Мы провели эксперименты на нескольких задачах связанных с патчами, включая финальную сегментацию и классификацию. Наши результаты показали, что наш подход не только устраняет проблему over-dispersion, но и повышает качество представлений. Мы сравнили нашу работу с несколькими современными методами и показали, что наши результаты значительно лучше, особенно в сложных сценах. Наши подходы демонстрируют высокую точность и устойчивость при работе с шумом и несбалансированными метками. #### Значимость Метод, основанный на семантической концентрации, имеет широкие применения в области обучения представлений для патчей в сложных изображениях. Он может быть применен в задачах, таких как сегментация, классификация и обнаружение объектов. Наши решения улучшают качество представлений, уменьшают разброс патчей и повышают устойчивость к шуму. Это может привести к значительным улучшениям в различных областях, таких как автоматическое вождение, оптическое распознавание символов и анализ изображений в медицине. #### Выводы Мы продемонстрировали, что семантическая концентрация является ключевым фактором для повышения качества представлений патчей в самостоятельном обучении. Наши подходы, включая знание п