When Audio and Text Disagree: Revealing Text Bias in Large Audio-Language Models

## Контекст Современные Large Audio-Language Models (LALMs) обладают уникальными способностями обработки и понимания мультимодальных данных, включающих звуковые и текстовые потоки. Однако возникают трудности при обработке конфликтующих сведений, когда звуковые и текстовые модели вводят противоречивые данные. Этот аспект остается практически неизученным, что является основной мотивацией для данного исследования. Проблема становится критично важной в связи с широким применением таких моделей в реальном мире, где точность и достоверность решений крайне важны. Недостаток исследований по этому вопросу наводит на мысль о необходимости разработки специализированных методов для оценки и устранения таких проблем в LALMs. ## Метод Для изучения проблемы использована собственная методология, основанная на создании нового бенчмарка под названием MCR-BENCH. Этот бенчмарк предназначен для оценки поведения LALMs в ситуациях, когда звуковые и текстовые модели приводят к несоответствию. Метод включал разработку специально выбранных задач, которые искусственно вводили конфликтующие ситуации для точной оценки моделей. Использование этой методики позволило выявить ошибки и разглядеть тенденцию LALMs к предпочтению текста в решении конфликтов. Такой подход дал возможность обосновать необходимость разработки более равновесных методов обработки мультимодальных данных. ## Результаты В результате подробных экспериментов было получено значительное количество сведений о тенденциях LALMs к предпочтению текста в случаях конфликтующих данных. Эксперименты проводились на различных задачах аудио-понимания, включая классификацию, оценку эмоций и распознавание слов. Оказалось, что LALMs часто отбрасывают звуковую информацию при наличии противоречий, что приводит к существенной потере точности в задачах, ориентированных на аудио. Выявлена тенденция к переобучению моделей, которая демонстрируется их чрезмерной уверенностью в правильности ответов даже при внедрении существенных противоречий. ## Значимость Полученные результаты имеют широкое применение в областях, где требуется достоверность решений, таких как распознавание речи, транскрипция и анализ аудио. Изученные проблемы имеют прямое отношение к улучшению надежности LALMs в реальных условиях. Данные исследования могут способствовать развитию моделей, которые более точно балансируют вклад каждой модели в мультимодальных задачах. Эти находки также могут открыть новые пути для развития технологий, которые будут эффективостьно обрабатывать несогласованности в звуковых и текстовых данных. ## Выводы Полу