Joint Transcription of Acoustic Guitar Strumming Directions and Chords

## Контекст Музыкальная информационная поисковая система (MIR) становится все более популярной в связи с ростом интереса к автоматизированным системам для анализа и обработки звуковых сигналов. Одна из сложных задач в этой области — автоматическое транскриптирование акустической гитары, особенно при распознавании дирекций подтяжек и прогрессий аккордов. Такой анализ требуется для анализа музыкальных произведений, создания автоматических инструментов для музыкального сопровождения и улучшения интерфейсов для игры на гитаре. Несмотря на существующие решения, их эффективность часто ограничивается недостаточным количеством и качеством данных. Цель данного исследования — расширить текущий подход к транскрипции подтяжек и аккордов, используя новый датасет и современные нейронные сети. ## Метод Для решения задачи использовалась комбинация данных реальных записей и синтетических звуков. Для сбора реальных данных использовались датчики движения ESP32 Smartwatch, позволяющие отслеживать динамику подтяжек на гитаре. Записи были произведены в реальных музыкальных условиях на протяжении 90 минут. Дополнительно создан синтетический набор данных, состоящий из 4 часов звуков с пометками подтяжек и аккордов. Нейронная сеть Convolutional Recurrent Neural Network (CRNN) была обучена для распознавания дирекций подтяжек, их направлений и идентификации аккордов. Алгоритм использовал только звуковые сигналы с микрофона. Эта модель была подготовлена с использованием методов машинного обучения для анализа и распознавания аккордов и подтяжек в реальных условиях. ## Результаты Эксперименты проводились на реальных записях и синтетических данных. В результате получены показатели точности распознавания подтяжек и аккордов. Особенно выдающимися результатами показался комбинированный подход, который использовал как реальные, так и синтетические данные. Этот подход демонстрировал наивысшую точность в распознавании дирекций подтяжек и классификации аккордов. Использование данных с датчиком движения позволило улучшить точность в определении динамических параметров подтяжек, тогда как синтетические данные дали более стабильные результаты в распознавании аккордов. ## Значимость Полученные результаты могут быть применены в различных областях, включая создание автоматизированных инструментов для анализа музыки, улучшение устройств для гитары, а также для создания систем автоматической подборки аккордов для игры. Этот подход также может быть применен для создания интерактивных музыкальных систем, которые будут использоваться в обучении музыка