Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection

#### Контекст В последние годы наблюдается большой рост интереса к развитию многомодальных машинного обучения, включая такие модели, как LLaVA. Однако эти модели часто сталкиваются с проблемой "мультимодальных галлюцинаций", определяемых двумя основными мотивами. Во-первых, текстовая приоритетность обусловлена тем, что модели часто предпочитают информацию из текста, даже когда визуальная информация более релевантна. Во-вторых, статистические объектно-парные модели, основывающиеся на частотах сочетаний объектов в обучающих данных, могут приводить к неправильным выводам. Эти проблемы снижают точность моделей и их надежность в реальной жизни. Наша мотивация заключается в разработке метода, который бы не только устранил эти галлюцинации, но и делал это без дорогостоящих ресурсов, таких как дополнительные модели или тренировочные данные. #### Метод Мы предлагаем использовать **градиент-базу саморефлексии** для оценки вклада каждого типа токенов (визуальных, выводимых и прочих) в процесс принятия решений. Эта методология позволяет определять уровень вклада токенов в реальном времени, что дает более точный контроль за выбором модели. Далее мы предлагаем **вендортую свертку по детектированным объектам**, чтобы включить результаты визуального анализа в процесс декодирования. Это позволяет модели более точно учитывать как текстовые, так и визуальные признаки. Наш подход не требует дополнительных тренировочных данных, моделей или ресурсов, что делает его эффективным и простым в применении. #### Результаты Мы проводили ряд экспериментов на различных вариантах LLaVA-QA, используя данные из больших многомодальных баз. Наши результаты показали, что метод саморефлексии существенно снижает мультимодальные галлюцинации, улучшая точность до **92% в LLaVA-QA90**. На практических примерах, таких как тесты составления текста по видео, наблюдался значительный выигрыш в качестве вывода. Также мы обнаружили, что наш подход работает эффективно в разных условиях и не требует изменений в основной инфраструктуре моделей. #### Значимость Наш подход имеет широкие приложения в области многомодального обучения, включая видео-и текстовый диалог, обнаружение объектов и системы помощи в реальном времени. Он предоставляет преимущества в том, что устраняет галлюцинации без требуемых ресурсов и может быть легко интегрирован в существующие модели. Мы считаем, что наш метод может стать ключевым для повышения точности и доверия к многомодальным системам, а также может обеспечить новые возможности в приложениях, таких как системы