Thinking with Sound: Audio Chain-of-Thought Enables Multimodal Reasoning in Large Audio-Language Models

## Контекст В последние годы опытные бо LALMs (Large Audio-Language Models) показали сильный результат в различных задачах понимания аудио, таких как перевод речи и аудио-вопросы-ответы. Однако, несмотря на эти достижения, они сталкиваются с значительными ограничениями при работе с задачами рассуждения в аудио, особенно в сложных акустических сценариях. Например, в таких ситуациях необходимы акустические инструменты, такие как убирание шума, изоляция источников звука и точное временное выравнивание. Несмотря на то, что эти инструменты могут быть полезны, современные LALMs не обладают доступом к ним. Эта проблема становится более важной, так как повышение уровня звуковой природности и объема сложных аудиоданных, с которыми сталкиваются пользователи, поднимает требования к моделям в области системы рассуждения в аудио. Для решения этой проблемы мы предлагаем Thinking-with-Sound (TwS), новую фреймворк, которая дает LALMs возможность применять Audio CoT (Audio Chain-of-Thought), комбинируя языковое рассуждение с анализом в реальном времени в аудиодомене. Это предложение отличается от существующих подходов, где аудио трактуется как статический ввод, и позволяет моделям активно "рассуждать с помощью звука", выполняя цифровое создание числовых данных и дальнейшую обработку через многомодальное рассуждение. ## Метод Предлагаемая методология, Thinking-with-Sound (TwS), включает в себя многоуровневый подход для комбинирования языкового и аудио-рассуждения. В своей основе TwS имеет архитектуру, которая позволяет LALMs активно выполнять рассуждение в аудиодомене, используя набор акустических инструментов, таких как источник сегментации, шумоподавление и временное выравнивание. Эти инструменты интегрируются в модель непосредственно во время работы, чтобы обеспечить наибольшую точность и реактивность. Метод TwS также использует многомодальное рассуждение, чтобы объединить входящие звуковые сигналы с текстовыми данными, а затем анализировать и интепретировать их совместно. Это позволяет модели не только понимать звуковые сигналы, но и активно рассуждать над ними, чтобы улучшить результаты понимания и обработки аудиоданных. Эта методика отличается от прежних подходов, где модели обычно работают только с текстовыми входными данными и имеют ограниченные возможности анализа аудиосигналов. ## Результаты Для оценки эффективности TwS мы провели ряд экспериментов, использовав различные задачи понимания аудио и подвергнув их проблемам, таким как удаление шума, искажение звука и многоканальное смешивание. Мы использовали обучающие данные из наборов данных, таких как AudioSet и LibriSpe