MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction

#### Контекст Увеличение объема данных и многообразия моделей обработки решаются с помощью мультимодальных моделей. Одной из проблем является качество обработки информации и ее точность в различных контекстах. Многие модели вынуждены оптимизировать как выравнивание, так и скорость обработки данных, что приводит к сложностям в реализации. Требуется модель, которая могла бы сочетать высокую точность и эффективность, а также удовлетворять требованиям различных сценариев применения. #### Метод Мы предлагаем MetaEmbed, новую архитектуру для мультимодального взаимодействия, которая использует последовательность Meta-токенов в качестве векторов для запросов и документов. Задача MetaEmbed состоит в том, чтобы лучше управлять хранением информации в сложной мультимодальной среде. Затем, во время обучения, мы добавляем заранее определенные мета-токены к входной последовательности. Во время выполнения, эти мета-токены представляют собой контекстные векторы, которые могут расширяться в несколько векторов для эффективной обработки. Метод Matryoshka Multi-Vector Retrieval обеспечивает выбор того, сколько векторов будет использовано в зависимости от требований к скорости и точности. #### Результаты Мы проверили MetaEmbed на двух больших наборах данных, Massive Multimodal Embedding Benchmark (MMEB) и Visual Document Retrieval Benchmark (ViDoRe). Наши результаты показали, что MetaEmbed показывает высокую эффективность и гибкость при работе с моделями, имеющими до 32 миллиардов параметров. Она удачно обеспечивает безупречное качество во время обработки и способна эффективно масштабироваться в зависимости от требований. #### Значимость Метод MetaEmbed может быть применен в различных сценариях, таких как поиск изображений, текста, а также в любых задачах, требующих высокого качества поиска и эффективности. Он обеспечивает дополнительные преимущества, такие как гибкость в выборе векторов и удобство в интеграции с другими моделями. Это открывает путь к новым возможностям в мультимодальной обработке, что может повлиять на развитие машинного обучения в области визуальных систем. #### Выводы Мы представили MetaEmbed, создав модель, которая значительно улучшает представление информации в мультимодальных средах. Мы показали, что модель хорошо справляется с масштабированием и достигает высокого качества работы в разных условиях. Наша работа открывает новые возможности для будущих исследований, в том числе в строительстве более эффективных моделей для мультимодальных задач.