## Контекст Современные large language models (LLM) достигли впечатляющих результатов в обработке текстовых данных и генерации текста. Однако их потенциал в области знаний о музыкальной нотной записи и интеллектуальной обработки музыкальных символов остается значительно неизученным. Несмотря на то, что текстовые музыкальные символы (например, в формате ABC notation) широко используются в генерации музыки, их использование для решения задач понимания и принятия решений остается редким. Это приводит к значительной недостаточности в исследованиях, связанных с тестированием и реализацией моделей, которые могут обрабатывать такие символы. Для заполнения этой лакуны мы предлагаем ABC-Eval — первый открытой кодовой базы бенчмарка, призванного измерить способности текстовых LLM понимать и применять знания в условиях символьной музыки. ## Метод ABC-Eval представляет собой набор тестовых семплов, состоящий из 1086 задач, разделенных на 10 подзадач. Эти задачи относятся к различным уровням сложности — от базового разбора музыкальной синтаксической конструкции до распространенных сценариев, требующих сопоставления музыки с текстовым описанием. Мы изучали использование семи современных LLM для проверки их производительности в различных сценариях. Наша модель использует уникальный подход к оценке, который включает в себя проверку точности, относительной производительности и возможности моделей обрабатывать различные аспекты музыкальных символов. ## Результаты Наши эксперименты показали, что хотя LLM-модели демонстрируют высокий уровень производительности на общих задачах текстового понимания, они столкнулись с серьезными ограничениями при работе с символьной музыкой. Например, модели показали незначительные результаты при разборе сложных синтаксических структур и при применении музыкальных знаний в контексте дальнейших задач. Несмотря на это, результаты были достаточно стабильными в разных подзадачах, что демонстрирует надежность нашего бенчмарка и его применимость для дальнейших исследований. ## Значимость ABC-Eval открывает новые возможности для исследований в области музыкального понимания и текстового управдывания в текстах ABC notation. Он может использоваться для разработки моделей, которые обладают более высоким уровнем понимания музыкальных синтаксических конструкций и текстовых комманд. Этот бенчмарк не только может привести к улучшению моделей, но и может стать дополнительным инструментом для задач, требующих текстового понимания в контексте музыки. ## Выводы ABC-Eval представляет собой значительную добавку в область исследований по текстовым LLM в сфере музыкального понима

## Контекст Область исследования, связанная с выработкой ролевой игры в крупных языковых моделях (LLMs), является важной для развития имитации естественного языка. Несмотря на то, что существуют многочисленные текстовые датасеты, предоставляющие синтезированные данные для обучения лингвистических моделей, удалось редко создавать высококачественные мультимодальные датасеты, которые были бы пригодны для развития ролевой игры по голосовому компоненту. Это возникает из-за сложности, связанной с гармоничным совпадением семантического контента и аудио-фонограммы. Таким образом, необходимо разрабатывать мощные мультимодальные датасеты, которые могли бы повысить качество выполнения таких задач. ## Метод Для решения этой проблемы мы предлагаем AudioRole, созданный как результат тщательной сборки датасета, включающего более 13 телесериалов, представляющих собой более 1 Килочаса аудио данных. Этот датасет имеет более 1 миллиона полностью синтезированных диалогов с выделенными спикерами и группировочными метаданными. Для того, чтобы оценить качество разработанного датасета, мы представили ARP-Eval, двухуровневый критерий, который учитывает как качество ответа, так и точность роли. ## Результаты В результате тестирования мы применили ARP-Eval к тренировочной модели GLM-4-Voice, которая была обучена на AudioRole. Модель, полученная после обучения, получила оценку Acoustic Personalization с 0.31, что значительно превосходит оригинальную GLM-4-Voice и даже модель MiniCPM-O-2.6, которая предназначена для ролевой игры в однокликовых сценариях. Также, ARP-Model показала Content Personalization с 0.36, что означает, что модель превзошла оригинальную модель на 38% в случае необученной модели и сохранила состояние с MiniCPM-O-2.6. ## Значимость Этот датасет может быть применен в многочисленных мультимодальных исследованиях, в том числе для развития ролевой игры по голосовому компоненту в крупных языковых моделях. Наша модель и датасет могут быть использованы для создания наборов данных, которые будут позволить тестированию новых моделей и повышения качества ролевой игры в крупных языковых моделях. ## Выводы Результаты нашего исследования показывают, что разработка высококачественных мультимодальных датасетов, таких как AudioRole, играет ключевую роль вузущем развитии ролевой игры в языковых моделях. В дальнейшем мы планируем расширить этот датасет, добавив более разнообразных аудио-фонограмм и синтезированных диалогов, чтобы предоставить еще более широкое применение в разработке моделей ролевой игры.

## Контекст Современные технологии нейронной синтеза речи позволяют создавать реалистичные аудио-дыбофы, которые представляют серьезную угрозу безопасности. Однако аудио-дыбофы часто варьируются по способу синтеза, рекордеру, способу передачи и другим параметрам, что усложняет их обнаружение. Надежная детекция необходима для защиты от мошенничества, шпионажа и других вредоносных действий. Большинство существующих методов адаптируются только к конкретным видам дыбофов, что приводит к ограниченной обобщаемости. Мы предлагаем общеизучимую модель, которая отличается высокой универсальностью и точностью, способной обнаруживать аудио-дыбофы в различных условиях. ## Метод Мы предлагаем модель **Information Bottleneck enhanced Confidence-Aware Adversarial Network (IB-CAAN)**, которая объединяет несколько ключевых техник. **Confidence-guided adversarial alignment** выявляет и уменьшает специфичные для атаки артефакты без удаления важных объективных признаков. Эта техника позволяет модели ориентироваться только на существенные черты. **Information Bottleneck** уменьшает неинформативную вариативность, такую как голосовые характеристики и условия записи, чтобы сохранить трансферируемые признаки для обнаружения. Архитектура IB-CAAN состоит из нескольких слоев, которые взаимодействуют для обнаружения дыбофов, учитывая общие признаки в различных условиях. ## Результаты Мы проверили модель IB-CAAN на различных датасетах: ASVspoof 2019, ASVspoof 2021, ASVspoof 5 и In-the-Wild. На этих наборах данных IB-CAAN показала стабильно высокую точность, превосходя существующие методы. На ASVspoof 2019/2021 модель демонстрирует **F1-score** в районе **95%**, что значительно превышает базовые результаты. В In-the-Wild условиях IB-CAAN удалось выделить дыбофы с более высокой точностью по сравнению с другими сетями. Эти результаты показывают, что IB-CAAN является оптимальным выбором для обнаружения дыбофов в различных условиях. ## Значимость Модель IB-CAAN может применяться в различных областях, таких как безопасность систем голосовой идентификации, защита от мошенничества и обнаружение поддельных аудио. Универсальность IB-CAAN позволяет ей быть эффективной в различных сценариях, включая ситуации с многочисленными говорящими, разных каналами передачи и различными условиями записи. Такая модель может существенно улучшить уровень безопасности в цифровых системах, защищая пользователей от мошенничества, шпионажа и других вредоносных действий. ## Выводы Мы предложили модель IB-CAAN, которая стабильно превосходит существующие методы в обнаружении аудио-дыбофов. Результаты экспериментов пока

#### Контекст Задачи генерации аудиоматериалов с помощью глубоких нейронных сетей, таких как текст-в-аудио (T2A) и видео-в-аудио (V2A), набирают все большую популярность в науке и технологиях. Однако существуют значительные проблемы, связанные с равновесием между качеством и разнообразием генерируемых аудио. На данный момент большинство методов аудиогенерации ориентируются на одну конкретную стратегию, например, на классификатор-свободную гидацию (CFG), которая убеждает модель сохранить аллигацию с условием задачи. Это позволяет улучшить достоверность генерируемых материалов, но часто приводит к потере разнообразия. Решение этой проблемы является актуальным в связи с постусловиями для создания более универсальных и эффективных систем генерации аудио. #### Метод Мы предлагаем **AudioMoG** — многогранный фреймворк, основанный на композиции различных методов гидации для аудиогенерации. Фреймворк может объединять различные стратегии, такие как классификатор-свободное гидацирование (CFG) и автогидация (AG), чтобы максимально эффективно использовать их достоинства. Если необходимо, модель может отказаться от части моделей, сохраняя универсальность. Также внутри AudioMoG включены сложные механизмы, например, управление разреженным шумом и волновой реконструкцией, которые позволяют лучше контролировать генерируемый аудиоматериал. Благодаря этому, модель может обеспечивать высокое качество и разнообразие аудио без значительного повышения сложности реализации. #### Результаты Мы проверили AudioMoG на практике, визуализировав результаты на различных типах данных, включая текстовую генерацию аудио (T2A), видео-в-аудио (V2A), текст-в-музыку (T2M) и даже генерацию изображений. Наши эксперименты показали, что AudioMoG показывает значительное улучшение по сравнению с одной гидацией на всех метриках, включая точность генерации, разнообразие звуков и скорость вывода. Например, в текстовой генерации аудио, мы получили значительно более высокую качественную аудиогенерацию при заданной скорости вывода. Также AudioMoG показал свои преимущества в генерации музыкальных треков и изображений. Это свидетельствует о том, что наш фреймворк позволяет получать высококачественные результаты на разных типах генеративных задач, не уменьшая эффективность вычислений. #### Значимость Мы видим широкие перспективы применения AudioMoG в сферах, где необходимо высокое качество и разнообразие генерируемого аудио. Это может включать в себя разрабо

#### Контекст Изучение музыкальных процессов в области музыкального информационного восстанования (MIR) является ключевым направлением, направленным на понимание и анализ музыкальных данных. Одним из фундаментальных задач в этой области является **экспрессивное исполнение музыки (EPR, Expressive Performance Rendering)**, которое заключается в генерации выразительных исполнений из символических музыкальных нот. Другим задачей является **автоматическая нотная транскрипция (APT, Automatic Piano Transcription)**, направленная на восстановление символических нотных транскрипций из аудиозаписей. Несмотря на то, что эти задачи являются взаимосвязанными и широко изучаются независимо, лишь недавно началась работа над их объединенным решением. Недостаток в едином решении приводит к усложнению обучения модели и снижению точности результатов. Наша мотивация заключается в создании **универсальной системы**, которая могла бы объединить эти задачи, а также обеспечить управление выразительными стилями и эффективную стилистическую передачу. #### Метод Мы предлагаем **универсальный трансформер-ориентированный подход**, который моделирует EPR и APT в рамках одного фреймворка. Наша модель основывается на **transformer-based sequence-to-sequence architecture** (трансформер-архитектура с последовательной преобразованием), которая обеспечивает прямое преобразование между двумя представлениями: **символических нот** и **аудиозаписей**. Чтобы **разделить стиль и содержание** (content-style disentanglement), архитектура разделяет доробление на две ключевые составляющие: 1. **Note-level Score Content**: локальное содержание и отношение между нотами, которое определяет звучание. 2. **Global Performance Style**: глобальный стиль исполнения, который определяет эмоциональный и художественный характер музыки. **Особенности метода:** - Мы не требуем тонкой нотной аллигации (fine-grained note alignment), что упрощает обучение. - Для управления стилем мы используем **дробление (diffusion-based module)**, которая генерирует стилистические эмбеддинги из нотных данных. - Модель может обучаться как на **парных** (paired), так и на **непарных** (unpaired) данных. #### Результаты Мы провели эксперименты на различных данных, включая **семантически близкие и различные стили музыки**. - **Оценки точности APT:** Модель показала высокую точность восстановления нотных транскрипций, даже при отсутствии тонкой нотной аллигации. - **Оценки EPR:** Мы провели эксперименты с разными выразительными стилями и показали, что модель эффективно контролирует стиль. - **Стилистическая передача:** Мы проверили возможность контроля выразительных стилей и показали, что модель отлично справляется с требованиями трансформации стиля.

## Контекст Генерация музыкально координированной и эстетически привлекательной гармонии остается значительной проблемой в области алгоритмической композиции. Несмотря на развитие музыкальных систем, которые создают гармоничные структуры, существуют трудности в создании гармоний, которые были бы полностью соответствовали контексту и потребностям композитора. Эти трудности порождаются тем, что многие существующие системы либо недостаточно гибки, либо не в состоянии эффективно обрабатывать разнообразные стили и композиционные задачи. Это создает необходимость в разработке новых подходов, которые могут обеспечить более сложную и индивидуальную гармоничную текстуру. ## Метод Разработанное решение представляет собой Agentic AI-enabled Higher Harmony Music Generator — мультиагентную систему, которая делегирует тесных задач музыкальной генерации разным специализированным агентам. Фреймворк включает четыре основных агента: 1. **Music-Ingestion Agent**, который парсит и стандартизирует входные музыкальные системы. 2. **Chord-Knowledge Agent**, на основе модели Chord-Former (Transformer), обрабатывает и анализирует сложные символы аккордов. 3. **Harmony-Generation Agent**, объединяющий Harmony-GPT и RNN для создания гармоничной линии, которая дополняет мелодию новыми звуками. 4. **Audio-Production Agent**, использующий GAN-based Symbolic-to-Audio Synthesizer для преобразования символической гармонии в аудио выход. Эта модульная система позволяет обеспечить высокую гибкость, контролируемый процесс гармоничной композиции и высококачественный аудио-синтез. ## Результаты Использовав интеллектуальные тестовые треки и музыкальные системы, система была протестирована на способности генерировать гармоничные композиции, которые соответствуют контексту мелодий. Эксперименты показали, что модель выдает гармоничные структуры, которые являются мелодически и ритмически устойчивыми, и имеют сложность, аналогичную гармоничным работам человеческих композиторов. Важно отметить, что система показала высокую точность в интерпретации сложных аккордов и высокую быстродушие при генерации аудио-контента. ## Значимость Полученная система может быть применена в различных областях, включая алгоритмическую композицию, генерацию музыки для видео, аудио-визуальных произведений и интерактивные музыкальные инструменты. Основное преимущество заключается в том, что система не только эффективно обрабатывает входные данные, но и позволяет генерировать музыкальные композиции с высоким уровнем комплексности и художественного содержания. Это может вести к новым возможностям в сфере музыки, в том

#### Контекст Аудио-предварительно обученные модели широко используются для решения задач в области обработки речи, детекции звуковых событий и исследования музыкальной информации. Однако, представления, извлеченные этими моделями, часто остаются непонятными. Анализ таких представлений ограничивается линейным пробным подходом, что не позволяет получить полное представление о том, что эти модели действительно "видят" в звуковых данных. Это приводит к проблемам в их использовании для задач, требующих транспарентности и объяснимости решений. Наша мотивация состоит в том, чтобы раскрыть эти представления, обеспечив более четкое понимание процесса обучения без надзора и улучшить понимание факторов, которые вкладываются в звуковые представления. #### Метод Мы предлагаем использовать **Sparse Autoencoders (SAEs)** для анализа представлений, извлеченных аудио-предварительно обученными моделями. SAEs — это архитектуры нейронных сетей, которые научились сокращать размерность входных данных, сохраняя основные черты информации. В нашем случае, мы используем SAEs для декомпозиции представлений, извлеченных аудио-предварительно обученными моделями. Эти SAEs позволяют идентифицировать важные факторы, включенные в представления, и дают возможность "разглядеть" то, что именно сеть учится. Мы также применяем этот подход к классификации техники пени, чтобы демонстрировать пользу SAEs в практических сценариях. #### Результаты Мы проводим эксперименты с использованием различных аудио-предварительно обученных моделей, таких как Wav2Vec и HuBERT. Мы показываем, что SAEs могут декомпозировать что-то, что модели "видят" в звуковых данных, в том числе влияние таких факторов, как интонация, ритм и структура пение. Эти результаты показывают, что SAEs действительно могут улучшить четкость и понимание того, что происходит внутри аудио-предварительно обученных моделей. Мы также показываем, что SAEs могут улучшить разделяемость важных вокальных атрибутов, что делает их эффективным инструментом для разбора звуковых представлений. #### Значимость Мы видим применение этого подхода во многих областях, включая классификацию звуковых событий, обработку речи и стилизацию музыки. Однако, главное преимущество SAEs заключается в том, что они позволяют получить более транспарентные инсайты из аудио-предварительно обученных моделей, что в свою очередь может сделать такие модели более доступными для применения в реальной жизни. Эта транспарентность не только улучшает понимание моделей, но и может помочь в разработке более эффективных моделей в будущем. #### Выводы Мы демонстрируем, что SAEs могут с