WISE: Weak-Supervision-Guided Step-by-Step Explanations for Multimodal LLMs in Image Classification

#### Контекст Multimodal Large Language Models (MLLMs) показали впечатляющий потенциал в области визуально-текстового разума. Одной из полезных методик для улучшения интерпретируемости таких моделей является Multimodal Chain-of-Thought (MCoT) prompting. Однако, существующие MCoT-методы обычно опираются на данные, где имеется много примеров с разумами, и сконцентрированы на разумах, которые охватывают взаимосвязи между объектами на изображениях. Недостаточно внимания уделяется внутри-объектному пониманию, которое крайне важно для задач классификации изображений. Наша мотивация заключается в заполнении этого пробела, создав метод, который может быть применен к любому датасету для расширения его многомодальных моделей мощными, понятными и гибкими MCoT-рассуждениями. #### Метод Мы предлагаем **WISE (Weak-Supervision-Guided Step-by-Step Explanation)** — новую методологию, которая использует **Concept Bottleneck Models (CBMs)** для генерации MCoT-рассуждений под управлением слабого предварительного знания. Основной идеей является реформулирование концепт-сетевых представлений CBMs в простые, логично связанные цепочки рассуждений, которые могут быть использованы как интерпретируемые рассуждения для любой модели классификации изображений. Мы автоматизировали этот процесс, чтобы генерировать MCoT-рассуждения для всех категорий классов в датасете. Метод WISE не требует разумных цепочек в качестве входных данных и может использоваться с любыми моделями, даже если они не были тренированы с интерпретируемыми выходными данными. #### Результаты Мы проверили WISE на десяти различных датасетах, включая CUB, Food-101 и OpenImages. Наши эксперименты показали, что **MCoT-рассуждения, сгенерированные WISE, увеличивают интерпретируемость решений моделей на 37%**. Более того, когда эти рассуждения использовались для файн-тюнинга MLLMs, это привело к улучшению точности классификации на 2.5% в среднем. Гибкость и универсальность WISE продемонстрированы тем, что он успешно работает для разных моделей и датасетов, даже когда они не имели предварительной подготовки на интерпретируемые выходы. #### Значимость Предложенный WISE-метод обладает широким спектром применений в области интерпретируемости для многомодальных моделей. Он может применяться в задачах классификации изображений, видео-анализе, медицинском интерпретировании изображений и других сферах, где требуется понимание внутри-объектных связей. Ключевые преимущества WISE заключаются в его универсальности, гибкости и возможности повысить интерпретируемость без требования дополнительных финализированных рассуждений для обучения. Мы ви