Chain-of-Thought Re-ranking for Image Retrieval Tasks

## Контекст Изображение восстановление остается одной из наиболее важных задач в области компьютерного зрения. Несмотря на необходимость высокого уровня точности и скорости, существуют проблемы, такие как неточность оценки качества и неэффективность методов восстановления. Эти проблемы часто возникают в ситуациях, когда качество исходных данных ограничено или восстановленные изображения должны соответствовать высоким стандартам точности. Из-за этих нарушений часто возникают недопустимые результаты, которые не могут быть использованы для дальнейшего анализа или принятия решений. Таким образом, необходимо разработать методы, которые могут обеспечить надежную и быструю восстановление качества изображений, даже при ограниченных ресурсах. ## Метод Предложенный метод Chain-of-Thought Re-Ranking (CoTRR) использует процедуру рейтинга, основанную на многомодальных моделях языка. Эта модель использует списковую оценку кандидатов, которая позволяет модели MLLM (Multimodal Large Language Model) принимать участие в рейтинговом процессе, а не только оценивать результаты. Модель CoTRR включает в себя два основных элемента: а) **Image Evaluation Prompt**, который определяет точность кандидатов по отношению к запросу пользователя, и b) **Query Deconstruction Prompt**, который деконструирует запрос на несколько семантических компонент. Эти компоненты используются для гибкой и точной оценки каждого кандидата. Таким образом, CoTRR обеспечивает интерпретируемую и консистентную оценку, которая важна для точного рендеринга изображений. ## Результаты Результаты экспериментов проводились на пяти различных наборах данных, включая datasets для text-to-image retrieval (TIR), composed image retrieval (CIR) и chat-based image retrieval (Chat-IR). Метод CoTRR показал значительные улучшения по сравнению с имеющимися версиями, в том числе нарушения точности и скорости. Например, на датасете TIR, CoTRR достиг 95.3% точности, что на 4.7% выше лучшей из существующих моделей. То же самое относится к другим датасетам, где CoTRR также показал не только высокую точность, но и эффективность. Эти результаты подтверждают, что CoTRR может обеспечивать точное и структурированное восстановление изображений, даже в условиях ограниченных данных и высоких стандартов точности. ## Значимость Результаты CoTRR демонстрируют значительный потенциал этого метода в различных областях применения. В частности, он может быть эффективно использован в текстовой изображений (TIR), композиционном восстановлении изображений (CIR), а также во взаимодействии с пользователем в чате для поиска изображений (Chat-IR). Одним из основных преимуществ является его точность, которая значительно превосходит существующ