MMReID-Bench: Unleashing the Power of MLLMs for Effective and Versatile Person Re-identification

## Контекст Персональная реидентификация (ReID) — это задача нахождения изображений интересующего объекта среди галереи изображений. Она находит широкое применение в областях медицинской реабилитации, обнаружения аномального поведения и обеспечения общественной безопасности. Однако традиционные модели ReID обладают ограниченными возможностями, ограничивающими их универсальность при работе с многомодальными данными, такими как RGB, термальные и инфракрасные изображения, рисунки-скетчы и текстовые описания. Недавно появление многомодальных больших языковых моделей (MLLMs) открыло новые возможности для решения этих проблем. Тем не менее, существующие методы используют MLLMs только как инструменты для вывода признаков или генерации текстовых описаний. Это не полностью использует их потенциал в области рассуждения, подчинения инструкций и кросс-модального понимания. Чтобы преодолеть эти ограничения, мы предлагаем MMReID-Bench — первый многозадачный многомодальный бенчмарк, созданный специально для реидентификации персон. ## Метод MMReID-Bench включает 20 710 многомодальных запросов и изображений-галерей, покрывающих 10 разных задач реидентификации персон. Он охватывает такие модальности, как RGB, термальная и инфракрасная съемка, а также рисунки-скетчы и текстовые описания. Методология базируется на использовании MLLMs в качестве многозадачных моделей, объединяющих в себе возможности рассуждения, подчинения инструкций и кросс-модального понимания. Эти модели обучаются на многомодальных данных, чтобы обеспечить широкий спектр возможностей для решения задач реидентификации. Это позволяет использовать MLLMs в новых сценариях, которые прежде не были достижимы. ## Результаты Эксперименты показывают, что MLLMs способны эффективно выполнять задачи реидентификации в различных модальных условиях. Они показали высокую точность при работе с RGB-изображениями, но имеют более слабый результат при обработке термальных и инфракрасных данных. Это связано с ограниченной способностью MLLMs полностью рассуждать и работать с этими модальностями. Несмотря на это, результаты продемонстрировали значительный потенциал MLLMs в обеспечении универсальных решений для реидентификации персон, которые могут быть применены в различных сценариях. ## Значимость MMReID-Bench открывает новые перспективы для развития многомодальных моделей ReID, которые могут быть использованы в различных приложениях, включая медицинскую реабилитацию, обнаружение аномального поведения и обеспечение общественной безопасности. Он также показывает перспективы для дальнейшего исследования MLLMs в контексте реид