Enhancing Supervised Composed Image Retrieval via Reasoning-Augmented Representation Engineering

## Контекст Composed Image Retrieval (CIR) является важной областью исследований в области компьютерного зрения и обработки информации, так как она специально стоит перед вызовом совмещения визуальной и текстовой информации для точного поиска целевых изображений. Несмотря на прогресс в области обучения с подкреплением и методов машинного обучения, CIR остается сложной задачей, требующей понимания деталей как в визуальной, так и в текстовой сферах. Традиционные подходы часто страдают от того, что недостаточно уделяется вниманию тонкой интерпретации текста и визуальных содержаний, что приводит к ошибкам в системах поиска. Этот факт подчеркивает необходимость развития более точных и эффективных моделей, которые могли бы обеспечить квалифицированный поиск изображений при минимальных потребностях в тренировочных данных. ## Метод Предлагаемый подход, Pyramid Matching Model with Training-Free Refinement (PMTFR), основывается на сочетании технологий Chain-of-Thought (CoT) и Pyramid Matching Model. Модель Pyramid Matching Model обладает способностью понимать визуальные данные на разных уровнях гранулярности, что включает в себя особенности визуальных элементов на разных уровнях детализации. В рамках нового подхода, CoT-данные используются для извлечения информации из текстовых инструкций, что позволяет лучше понять целевые изображения. Беспроволочная модель тренировки, основанная на непосредственном расширении текстовых сигналов, позволяет повысить точность поиска без дополнительного обучения моделей. Этот подход снижает затраты на обучение, оптимизируя точность и разрешая проблемы с хранением и переработкой информации в системах CIR. ## Результаты На бенчмарк-данных CIR была проведена серия экспериментов, сравнивающих PMTFR с другими современными методами. Результаты показали, что PMTFR превосходит ранее использовавшиеся методы в задачах поиска изображений, особенно в случае необходимости точного разбора сочетания текстовых и визуальных сигналов. Эксперименты показали, что модель PMTFR демонстрирует высокую точность в случае задач CIR с небольшими обучающими данными, что свидетельствует о значительном потенциале этого подхода в ситуациях, где данных для обучения ограничены. Интеграция CoT и Pyramid Matching Model дала возможность повысить четкость и точность результатов поиска. ## Значимость Предложенный подход имеет широкие области применения в области компьютерного зрения, в том числе в медицине, в образовании и в графике. Он может быть использован для повышения точности поиска изображений в системах роботов, практических приложениях в городских системах и в системах, требующих точного сопоставления визуальных элементов и текстовых сигналов