When Language Overrules: Revealing Text Dominance in Multimodal Large Language Models

## Контекст Проблема **текстовой доминанты (text dominance)** в **мультимодальных больших языковых моделях (Multimodal Large Language Models, MLLMs)** является значимой темой в современных исследованиях. Эти модели обладают выдающимися возможностями в различных мультимодальных задачах, однако наблюдается неравномерная зависимость от **текста** в процессе работы. Это приводит к неэффективному использованию данных других модов, таких как **изображения**, **звук**, **видео**, **серии времени** и **графы**. До этого, выявленная проблема была приписывалась системным уклонению к тексту из-за **архитектур моделей** или **несбалансированной биазы данных**. Однако, в данной работе, эта проблема рассматривается в широком многомодальном контексте, включая не только изображения и видео, но и современные модовые данные, такие как **аудио**, **серии времени** и **графы**. Этот подход позволяет провести систематическое исследование и изучить взаимодействие модов в новых условиях. ## Метод Для изучения **текстовой доминанты** в MLLMs, авторы вводят два новые метрики: **Modality Dominance Index (MDI)** и **Attention Efficiency Index (AEI)**. **MDI** измеряет степень зависимости модели от текста, а **AEI** оценивает эффективность использования модов в процессе принятия решений. Для экспериментов, авторы используют пять различных модов: **изображения**, **видео**, **аудио**, **серии времени** и **графы**. Методы анализа включают расчет этих метрик на основе различных тестовых данных, а также изучение влияния различных архитектур и техник сжатия токенов может иметь на баланс модели. Эти методы позволяют выявить **три основных причины текстовой доминанты**: **редкость токенов других модов**, **проектирование архитектуры модели** и **задачи, которые неявно продвигают текст**. ## Результаты Эксперименты показали, что **текстовая доминанта** существенна и переносима по всем рассмотренным модам, включая **изображения**, **видео**, **аудио**, **серии времени** и **графы**. Результаты показали, что модели страдают от **необходимости использовать текст** даже когда другие модовые данные могут быть более подходящими. Были выявлены влиятельные факторы, такие как **сжатие токенов**, **неоптимальный дизайн архитектуры** и **статическая оболочка задач**, которые подталкивают модель к тексту. Например, **LLaVA-7B** имела **MDI 10.23** до применения метода сжатия токенов, но после его применения, **MDI** был снижен до **0.86**, что позволило улучшить баланс модели. ## Значимость Предложенный подход имеет большое значение для развития более **сбалансированных моделей**, которые могут эффективно использовать данные из всех модов. Изученные методы могут