Recurrence Meets Transformers for Universal Multimodal Retrieval

#### Контекст Современные мультимодальные задачи восстановления (multimodal retrieval) широко применяются в области глубокого обучения, включая текстовую и изображения связующие модели типа LLMs. Эти задачи включают поиск документов, сочетающих текст и изображения, что сильно усложняет выполнение поисковых запросов. На данный момент, большинство методов опираются на задачи-специфичное оптимизацию визуально-языковых моделей (vision-language models), ограничиваясь единой моделью для работы с единственной моделью. Это приводит к неэффективности в обработке более сложных задач, требующих обработки нескольких моделей. Данная работа предлагает новую модель ReT-2, которая объединяет в себе несколько моделей для работы с мультимодальными запросами и документами. #### Метод Методология ReT-2 основывается на использовании рекуррентной архитектуры Transformer с LSTM-подобными механизмами. Эта модель включает в себя несколько слоев, которые динамически интегрируют информацию из разных моделей и моделей-рекейверов (retrievers). Модель ReT-2 позволяет обрабатывать входные данные в формате изображения и текста, а также выполнять поиск по мультимодальным документам, где входные данные сочетаются в разных форматах. Для эффективного обработки нескольких входных моделей, ReT-2 использует многоуровневые представления, что позволяет более тонко анализировать объекты и текст. #### Результаты Результаты экспериментов были получены на двух основных мультимодальных наборах данных: M2KR и M-BEIR. Модель ReT-2 показала свою способность получать точные результаты в разных конфигурациях поисковых запросов. Она достигла лучших результатов по сравнению с предыдущими моделями в задачах мультимодального поиска. Была проведена сравнительная оценка времени исполнения и использования памяти, где видно было, что ReT-2 работает быстрее и эффективнее, чем предыдущие модели. Также было произведено исследование интеграции модели ReT-2 в задачи вспомогательной генерации знаний (retrieval-augmented generation), где также был доказан повышенный результат в задачах типа Encyclopedic-VQA и InfoSeek. #### Значимость Модель ReT-2 может быть применена в различных областях, включая поисковые системы, где необходима обработка мультимодальных запросов, в область обучения машин по мультимодальным данным, а также в создании новых систем для визуального поиска в интернете. Особым преимуществом является улучшенная скорость и эффективность, которая обеспечивает быстрый поиск в больших мультимодальных наборах данных. Также, модель может повысить точность решения задач, связанных с визуальным поиском и связыванием изображений с текстом. Данный по