WildScore: Benchmarking MLLMs in-the-Wild Symbolic Music Reasoning

## Контекст На протяжении многих лет, искусственный интеллект (ИИ) продолжает демонстрировать удивительные достижения в области зрительно-языковых задач. Однако, несмотря на эти успехи, применение ИИ в рамках мультимодальных символьных музыкальных задач остается недостаточно изученным. Музыка, как мультимодальная сфера, требует не только визуального распознавания, но и глубокого понимания музыкальных структур, темпа, гаммы и многих других аспектов. Значительные усилия были направлены на развитие мультимодальных бо LARGE LANGUAGE MODELS (MLLMs), которые способны обрабатывать и анализировать текст, изображения и даже аудио. Однако, тестирование этих моделей на реальных музыкальных ситуациях и музыкальных символах остается практически неразвитым. Авторы статьи предлагают WildScore, первый бенчмарк, ориентированный на оценку моделей MLLMs в рамках реальных символьных музыкальных задач. Он представляет собой коллекцию реальных музыкальных символов, сопровождаемых вопросами и обсуждениями пользователей, что дает широкий погружающийся характер задач музыкального анализа. ## Метод WildScore является первым бенчмарком, созданным для оценки моделей MLLMs в реальных условиях музыкального анализа. Он состоит из реальных музыкальных символов, собранных из широкого спектра музыкальных произведений. Каждый экземпляр в бенчмарке сопровождается пользовательскими вопросами и обсуждениями, что дает шанс для тестирования не только визуальной способности модели, но и ее понимания структур музыки. Для того, чтобы систематизировать оценку, авторы предлагают также специальную тематическую категорию, которая включает как общие, так и детальные музыкальные темы. Это позволяет делать запросы не только на визуальном уровне, но и на семантическом. Формат оценки представляет собой несколько выборок вопросов, что дает возможность сравнивать модели по количеству достижений и потенциальной сложности задач, которые они могут решать. ## Результаты В ходе экспериментов, проведенных на WildScore, авторы сравнили результаты нескольких существующих MLLMs. Эксперименты проводились с использованием различных музыкальных символов и вопросов, сгенерированных пользователями. Результаты показали, что хотя некоторые модели показали высокие результаты в базовых задачах, они всё же сталкивались с трудностями при работе с более сложными задачами, особенно теми, которые включают не только визуальное понимание, но и глубокое музыкальное анализирование. Эти результаты указывают на продолжающуюся необходимость в развитии моделей, которые могут более точно интерпретировать музыкальные с