Stable Diffusion Models are Secretly Good at Visual In-Context Learning

#### Контекст Нейронные сети, особенно языковые модели, демонстрируют всесторонний потенциал в области обучения с примерами (in-context learning, ICL) — способность использовать примерные задачи для адаптации к новым задачам без необходимости изменять веса модели. Эта область исследований в глубинных нейронных сетях постоянно пополняется новыми результатами. Однако в области компьютерного зрения (computer vision) проблема ICL остается значительно недооцененной. Особенностью данного подхода является необходимость в специальной обучающей постановке и дополнительных данных, что ограничивает его широкое применение. Мы предлагаем исследовать возможности ресурса, оказавшегося доступным для пользования, — Stable Diffusion моделей, используя их для решения задач в области компьютерного зрения. #### Метод Мы предлагаем алгоритм, основанный на внедрении возможности добавления контекстной информации в слои self-attention сети Stable Diffusion. Наша реализация включает в себя модификацию связей между входными примерами и запросами (queries), что позволяет модели лучше понять связи между задачами. Мы используем стандартные архитектуры Stable Diffusion без допустимого улучшения, устанавливая таким образом новый подход к ICL в компьютерном зрении. Это приводит к более гибкой модели, которая может использоваться для множества задач, включая категоризацию, ограничение объекта, сегментацию, распознавание ключевых точек, а также другие. Мы тестируем наши модели на различных данных, включая Pascal-5i и COCO. #### Результаты Мы проводим эксперименты, в которых проверяем возможность Stable Diffusion моделей для различных задач визуального ICL, включая сегментацию, распознавание ограничивающих граней, и другие. Мы сравниваем наши результаты с современными методами, такими как Visual Prompting и IMProv. На Pascal-5i данный метод показывает существенное улучшение в метрике mIoU (mean intersection over union) на 8.9% по сравнению с Visual Prompting и на 3.2% по сравнению с IMProv. Таким образом, мы доказываем, что модель Stable Diffusion может эффективно использоваться для ICL в компьютерном зрении, не требуя дополнительных изменений в модели. #### Значимость Наша работа демонстрирует возможность эффективного использования внедрения контекста в существующие модели для решения задач визуального ICL. Это открывает широкие возможности для применения в задачах, требующих быстрой адаптации к новым задачам. Также мы показываем, что наш подход эффективно использует множество примеров для улучшения результатов. Это делает наш метод привлекательным для промышленных применений, где необходим быстрый переход между задачами и эффективность ресурсов. #### Выводы Мы доказываем, что Stable Diffusion модели могут бы