MOON: Generative MLLM-based Multimodal Representation Learning for E-commerce Product Understanding
2508.11999v1
cs.CV, cs.AI, cs.IR, cs.LG
2025-08-19
Авторы:
Daoze Zhang, Zhanheng Nie, Jianyu Liu, Chenghan Fu, Wanxian Guan, Yuan Gao, Jun Song, Pengjie Wang, Jian Xu, Bo Zheng
Резюме на русском
#### Контекст
В последние годы, скоростному росту электронной коммерции присутствуют множество вызовов, связанных с конвейером обработки товаров. Одним из ключевых аспектов является повышение точности и эффективности понимания товаров. Несмотря на то, что существующие модели, ориентированные на конкретные задачи, демонстрируют хорошие результаты в этой области, они не всегда эффективно обрабатывают многообразие данных, включая текст, изображения и атрибуты товаров. Это приводит к проблемам в моделировании более общих, универсальных представлений. Наша модель MOON (Multimodal MLLM-based Representation Learning) впервые предлагает широкомасштабную генерирующую модель на основе Multimodal Large Language Models (MLLMs), которая значительно улучшает понимание продуктов в различных задачах, таких как кросс-модальная рекогнация, классификация товаров и предсказание атрибутов.
#### Метод
MOON использует современные методы машинного обучения для моделирования продуктов в рамках многомодальных представлений. Основной модуль — это guided Mixture-of-Experts (MoE), который моделирует мультимодальные аспекты товаров. Кроме того, мы вводим технику **core semantic regions detection** для устранения шума и недружественных факторов в изображениях товаров. Метод **negative sampling strategy** позволяет увеличить сложность и разнообразие отрицательных значений. Благодаря этой технологической архитектуре, MOON может эффективно связать мультимодальные представления товаров, включая текст и изображения, и повысить общую точность модели.
#### Результаты
Мы провели ряд экспериментов с использованием нашей большой коллекции данных для продуктов MBE (Multimodal Benchmark for E-commerce), включающей более 10 миллионов товаров. Модель MOON демонстрирует высокую точность в задачах zero-shot кросс-модальной рекогнации, классификации товаров и предсказания атрибутов. Особенно важно отметить, что MOON превосходит существующие методы в ряде ключевых задач, что подтверждает ее силу в общей генеративной моделировании. Также мы выполнили ряд визуализаций, показав, как MOON выявляет ключевые аспекты товаров и отсеивает шумные элементы, что демонстрирует ее эффективность в реальной среде.
#### Значимость
Модель MOON может быть применена в различных областях, таких как визуально-текстовые задачи, анализ товаров, автоматизация логистики и рекомендательные системы. Ее особенно значимость заключается в генеративной природе модели, которая позволяет легко адаптироваться к различным задачам. Мы также отмечаем, что MOON обеспечивает улучшенную эффективность и точность, что позволяет сократить время обработки и улучшить пользовательский опыт в электронной коммерции.
#### Выводы
Abstract
With the rapid advancement of e-commerce, exploring general representations
rather than task-specific ones has attracted increasing research attention. For
product understanding, although existing discriminative dual-flow architectures
drive progress in this field, they inherently struggle to model the many-to-one
alignment between multiple images and texts of products. Therefore, we argue
that generative Multimodal Large Language Models (MLLMs) hold significant
potential for improving product representation learning. Nevertheless,
achieving this goal still remains non-trivial due to several key challenges:
the lack of multimodal and aspect-aware modeling modules in typical LLMs; the
common presence of background noise in product images; and the absence of a
standard benchmark for evaluation. To address these issues, we propose the
first generative MLLM-based model named MOON for product representation
learning. Our method (1) employs a guided Mixture-of-Experts (MoE) module for
targeted modeling of multimodal and aspect-specific product content; (2)
effectively detects core semantic regions in product images to mitigate the
distraction and interference caused by background noise; and (3) introduces the
specialized negative sampling strategy to increase the difficulty and diversity
of negative samples. In addition, we release a large-scale multimodal benchmark
MBE for various product understanding tasks. Experimentally, our model
demonstrates competitive zero-shot performance on both our benchmark and the
public dataset, showcasing strong generalization across various downstream
tasks, including cross-modal retrieval, product classification, and attribute
prediction. Furthermore, the case study and visualization illustrate the
effectiveness of MOON for product understanding.