MDAR: A Multi-scene Dynamic Audio Reasoning Benchmark

## Контекст Аудиовещание является ключевым инструментом для обеспечения эффективной взаимодействия между ИИ-агентами и реальным миром. Оно включает различные аспекты, такие как речь, паралингвистические признаки, звуки окружающей среды и музыка. Несмотря на продвижение моделей ИИ, существующие бенчмарки аудиопроцессинга ограничены статическими или однопоточными сценариями, не учитывая сложные сценарии, где несколько говорящих, развивающиеся события и разнородные источники аудио взаимодействуют динамически. Для решения этой проблемы представлен MDAR — бенчмарк для оценки моделей в области сложных задач разума по аудио в динамических сценариях. ## Метод MDAR является первым бенчмарком, оценивающим модели на различных сложных задачах разума по аудио в многосценной и динамической среде. Он содержит 3,000 вопросов-ответов, связанных с аудио клипами, разделенными на пять категорий сложного разума и три типа вопросов. Бенчмарк охватывает разные аспекты аудиосигнала, включая речь, паралингвистические признаки, музыку и звуки. Он предназначен для проверки моделей на логическую абстракцию, способность к многоэлементному анализу и пониманию сложного аудио. Таким образом, MDAR является новым исследовательским инструментом для развития ИИ. ## Результаты Для проверки MDAR использовались 26 современных аудио-языковых моделей. На задаче многоэлементного анализа, GPT-4o Audio (закрытая модель) достигла 68.47%, а Qwen2.5-Omni (открытая модель) — 76.67%. Однако GPT-4o Audio показал значительное преимущество на задачах с многоэлементным тестированием и открытым ответом. Ни одна модель не смогла достичь 80% точности, что подтверждает сложность задач бенчмарка. Эти результаты демонстрируют необходимость развития аудио-разума и сделали MDAR отличным исследовательским средством для его достижения. ## Значимость MDAR открывает новые возможности для исследования различных аспектов разума, включая речь, музыку, симуляцию разных сценариев и анализ паралингвистических признаков. Он позволяет проверить модели на логическое мышление, разрешение противоречий и обнаружение звуков. Благодаря своему многогранному подходу, MDAR является идеальным инструментом для развития моделей ИИ, которые способны решать сложные задачи в реальных условиях. Его результаты могут применяться в разработке ИИ для многоязычных систем, систем распознавания речи, автоматизированных систем управления и других областях. ## Выводы MDAR — это первый бенчмарк, который демонстрирует сложность многосценных и динамически