ReFineG: Synergizing Small Supervised Models and LLMs for Low-Resource Grounded Multimodal NER

## Контекст Grounded Multimodal Named Entity Recognition (GMNER) представляет собой расширение традиционной NER, которое включает в себя детектирование текстовых фраз и их графическое упоминание в изображениях. Хотя существующие супервизорные методы показывают высокую точность, они требуют дорогостоящих мультимодальных аннотаций и часто сталкиваются с проблемами в узких, low-resource диапазонах. Использование Multimodal Large Language Models (MLLMs) обеспечивает сильную общая обустройствованность, но они страдают от Domain Knowledge Conflict, когда модель генерирует ненужные или неточные элементы для domain-specific entities. Наша цель заключается в том, чтобы создать решение, которое будет эффективно справляться с этими проблемами в низкоресурсных областях. ## Метод Мы предлагаем ReFineG, трехэтапную систему, которая объединяет небольшие супервизорные модели с замороженными MLLMs. В первой стадии, **Training Stage**, мы используем стратегию синтеза данных для NER, которая позволяет передавать LLM-знания в small-scale supervised модели, избегая Domain Knowledge Conflict. Во второй стадии, **Refinement Stage**, мы применяем неопределенность-ориентированный механизм, который сохраняет уверенные предсказания модели и передает более неуверенные на MLLM для дополнительной обработки. На третьей стадии, **Grounding Stage**, мы совершаем multimodal context selection, используя analogical reasoning для улучшения графического упоминания. ## Результаты Мы провели эксперименты на CCKS2025 GMNER Shared Task, где ReFineG достигла F1-меры в 0.6461, опередив многие соревнования. Выполняя требования к low-resource domain, ReFineG показала сильную эффективность с ограниченными аннотациями. Мы также проверили эффективность каждого этапа через ряд тестов и анализировали точность в различных условиях. ## Значимость ReFineG может применяться в различных сферах, где требуется нейроизвлечение с мультимодальным контекстом, такие как медицина, юриспруденция и high-tech. Наши результаты показывают, что данный подход может значительно улучшить результаты в узких областях, где данные и аннотации ограниченны. Преимущества ReFineG включают адаптивность, эффективность при работе с небольшими данными и сильную графическую гранулярность. Будущие исследования будут сфокусированы на расширении моделей для более широких областей и улучшении технологий grounding. ## Выводы ReFineG показала свою эффективность в низкоресурсных GMNER-задачах, доказав силу трёхэтапного синергетического подхода. Мы выделили себя среди конкурентов на CCKS2025 GMNER Shared Task. Наше исследование открывает новые возможности для применения AI в low-resource domains, а также подчеркивает важность совместной работы между small supervised models и MLLMs. Мы планируем расширить ReFineG для дополнительных типов multimodal data и улучшить её scalability