I2CR: Intra- and Inter-modal Collaborative Reflections for Multimodal Entity Linking
2508.02243v1
cs.CV, cs.IR
2025-08-09
Авторы:
Ziyan Liu, Junwen Li, Kaiwen Li, Tong Ruan, Chao Wang, Xinyan He, Zongyu Wang, Xuezhi Cao, Jingping Liu
Резюме на русском
**Резюме**
Multimodal entity linking — задача связывания сущностей из разных модальностей (текста и изображений) — широко применяется в компьютерном зрении, естественном обучении и других областях. Несмотря на успех текущих моделей на основе трансформеров, они сталкиваются со следующими проблемами: ненужная включенность изображений в некоторых случаях и подход с однократным извлечением визуальных признаков, который может снизить точность. Для решения этих проблем мы предлагаем I2CR — новую LLM-базную модель, основанную на стратегии Intra- и Inter-modal Collaborative Reflections. Модель использует текстовые данные в первую очередь, но при нехватке информации для точного связывания применяет многократный поиск ключевых визуальных признаков, улучшая точность. Результаты на датасетах VG+WebQSP, PCME-VG и VG-SS-C показывают, что I2CR показывает лучший результат, выигрывая на 3.2%, 5.1% и 1.6% в сравнении с состоянием искусства. Это свидетельствует об эффективности и гибкости нового подхода.
Abstract
Multimodal entity linking plays a crucial role in a wide range of
applications. Recent advances in large language model-based methods have become
the dominant paradigm for this task, effectively leveraging both textual and
visual modalities to enhance performance. Despite their success, these methods
still face two challenges, including unnecessary incorporation of image data in
certain scenarios and the reliance only on a one-time extraction of visual
features, which can undermine their effectiveness and accuracy. To address
these challenges, we propose a novel LLM-based framework for the multimodal
entity linking task, called Intra- and Inter-modal Collaborative Reflections.
This framework prioritizes leveraging text information to address the task.
When text alone is insufficient to link the correct entity through intra- and
inter-modality evaluations, it employs a multi-round iterative strategy that
integrates key visual clues from various aspects of the image to support
reasoning and enhance matching accuracy. Extensive experiments on three widely
used public datasets demonstrate that our framework consistently outperforms
current state-of-the-art methods in the task, achieving improvements of 3.2%,
5.1%, and 1.6%, respectively. Our code is available at
https://github.com/ziyan-xiaoyu/I2CR/.
Ссылки и действия
Дополнительные ресурсы: