Diving into Mitigating Hallucinations from a Vision Perspective for Large Vision-Language Models

## Контекст Объединение визуальной и языковой информации в Large Vision-Language Models (LVLMs) обеспечивает мощные возможности для решения различных задач. Однако существует одна серьезная проблема, которая существенно ограничивает их применение в реальном мире — object hallucination. Это происходит, когда модель визуально описывает объекты, которые либо не присутствуют, либо не соответствуют смыслу текста. Такие ошибки снижают доверие к моделям и становятся значительным препятствием для их успешного использования в ситуациях, требующих высокой точности и достоверности. Необходимость решения этой проблемы мотивирует разработку методов, которые могут анализировать и контролировать этот эффект. В данном исследовании мы сосредоточились на визуальном компоненте LVLMs, так как он является ключевым для точного интерпретирования входной изображенческой информации. Мы предположили, что различные тренировочные параметры и архитектуры визуальных моделей влияют на их устойчивость к hallucinations. Однако существующие бенчмарки для оценки LVLMs слишком грубоваты и не могут отразить тонкости этой проблемы. Наша цель — понять эти тонкости и разработать методы, которые могут ее эффективно устранить. ## Метод Мы предложили новую метрику для тонкой оценки различных типов object hallucinations, которая позволяет лучше понять, как различные визуальные модели справляются с этим вопросом. Для этого мы разработали VHBench-10 — бенчмарк, состоящий из примерно 10 тысяч примеров с разбивкой на 10 категорий hallucinations. Это позволяет представлять не только общий эффект, но и тонкости, связанные с различными видами этой проблемы. Кроме того, мы разработали VisionWeaver — совершенно новую модель, основанную на Context-Aware Routing Network. Она использует глобальные визуальные признаки для генерации сигналов, которые динамически направляют модель, какие специализированные эксперты использовать для агрегации данных. Эта архитектура позволяет модели более эффективно адаптироваться к различным типам объектов и ситуаций. ## Результаты Мы провели подробные эксперименты сравнивая нашу модель с другими текущими визуальными моделями на VHBench-10. Эксперименты показали, что VisionWeaver не только существенно сокращает частоту object hallucinations, но и улучшает общую точность модели. Мы показали, что различные виды object hallucinations по-разному влияют на различные визуальные модели, и VisionWeaver демонстрирует высокую устойчивость к этим различиям. ## Значимость Наши результаты имеют большое значение для области LVLMs, так как они позволяют значительно сократить ошибки, связанные с hallucinations. Это делает модели более надежными для применения в реальных задачах, таки