How Multimodal LLMs Solve Image Tasks: A Lens on Visual Grounding, Task Reasoning, and Answer Decoding

## Контекст Многомодальные большие языковые модели (MLLMs) показали выдающиеся результаты при решении задач смешанных визуальных и текстовых признаков. Однако их внутренние механизмы обработки данных и разделение функциональных ролей между слоями остаются нередко затруднительными для анализа. Это приводит к широкой мотивации изучить, как MLLMs обрабатывают визуальные и текстовые сигналы при решении задач, и какие роли выполняют различные слои модели в этом процессе. ## Метод Мы предлагаем пробинг-фреймворк для изучения процессов внутри MLLMs. Для этого мы обучаем линейные классификаторы, которые прогнозируют тонко уточненные визуальные классы (например, различные породы собак) из визуальных токенов, извлеченных на каждом слое. Мы используем стандартизированный вопрос-анкер, который помогает сравнить результаты в разных условиях. Для понимания ролей слоев, мы строим эксперименты под вариациями управляемых запросов: (1) **lexical variants**, тестирующих чувствительность к лексическим изменениям; (2) **semantic negation variants**, демонстрирующие изменения ответа при изменении визуального концепта в запросе; и (3) **output format variants**, которые меняют формат ответа, но сохраняют логику рассуждения. Мы применяем наш фреймворк к моделям LLaVA-1.5, LLaVA-Next-LLaMA-3 и Qwen2-VL. ## Результаты Наши результаты показывают, что MLLMs состоят из трех основных слоев-этапов, каждый из которых выполняет специфическую функцию: - **Early layers (visual grounding)**: эти слои активно участвуют в понимании и описании визуальных объектов, например, их цвета, формы и расположения. - **Middle layers (lexical integration and semantic reasoning)**: эти слои объединяют визуальные с признаками языка, выполняя семантическую интеграцию и некоторые базовые задачи логического моделирования. - **Final layers (task-specific output decoding)**: эти слои отвечают за формирование завершенного ответа, отталкиваясь от результатов работы предыдущих слоев. Мы также обнаружили, что, несмотря на вариации визуальной токенизации, данных для инструктивного тюнинга и разных предварительных тренировок, основная структура слоев остается стабильной, но их функциональное распределение между этапами может изменяться в зависимости от базового архитектурного дизайна модели. ## Значимость Наша работа дает полное понимание, как MLLMs работают на задачах, включающих обработку визуальных и текстовых данных. Она показывает, что каждый слой модели имеет свою специфическую роль, и что эти роли могут меняться в зависимости от архитектуры. Наши результаты могут быть удобны для внедрения в системы-анализаторы, а также могут помочь улучшить проектирование новых MLL