AHELM: A Holistic Evaluation of Audio-Language Models

## Контекст В последние годы наблюдается растущий интерес к развитию аудио-языковых моделей (ALMs), multimodalным системам, которые принимают в качестве входных данных интеллектованный текст и аудио, а выводят текст. Однако существуют серьезные проблемы в их оценке. Многие существующие бенчмарки измеряют только одну или две способности моделей, например, знания или распознавание эмоций, не учитывая важные аспекты, такие как справедливость и безопасность. Более того, сравнение различных моделей становится затруднительным, так как каждый бенчмарк использует свои методы оценки и интерпретации результатов. Для решения этих проблем, предлагается AHELM (A Holistic Evaluation of Audio-Language Models) — новый бенчмарк, который позволяет целостно оценить ALMs по 10 ключевым аспектам: распознавание аудио, знания, рассуждения, определение эмоций, биазы, справедливость, многоязычность, устойчивость, токсичность и безопасность. ## Метод AHELM состоит из новых и существующих данных, включая два новых синтетических набора данных. Один из них, PARADE, целенаправленно измеряет способность моделей избегать стереотипов, а другой, CoRe-Bench, измеряет умение моделей выполнять рассуждения в рамках беседы с помощью нескольких вопросов-ответов. Бенчмарк также эталонирует технические аспекты, такие как стандартизация обработки запросов и метрики оценки, чтобы обеспечить честную и сравнительную оценку моделей. AHELM использует 14 моделей от трех разработчиков, включая как открытые, так и закрытые API-системы. ## Результаты По результатам тестирования показалось, что Gemini 2.5 Pro показала себя лучше всего на 5 из 10 аспектов, однако имеет проблемы с групповой несправедливостью в задачах распознавания речи (ASR). Базовые системы, основывающиеся только на распознавании речи, показали достаточно высокий результат, одна из них заняла 5-е место в общем рейтинге. Это свидетельствует о том, что даже простые модели могут дать приемлемый результат в некоторых аспектах. ## Значимость AHELM широко может быть применен в области развития и оценки ALMs, обеспечивая целостную оценку их потенциала и ограничений. Он дает возможность сравнивать модели не только по отдельным характеристикам, но и по целостному набору аспектов. Одним из основных преимуществ AHELM является его гибкость и то, что он будет постоянно обновляться, добавляя новые данные и модели. ## Выводы AHELM представляет собой мощный инструмент для повышения качества целостной оценки ALMs. Его использование позволяет не только идентифицировать сильные стороны моделей, но и выявлять их недоста