Neural Proxies for Sound Synthesizers: Learning Perceptually Informed Preset Representations

## Контекст Автоматическое программирование звуковых синтезаторов (Automatic Synthesizer Programming, ASP) является важной областью исследований, направленной на помощь музыкантам и дизайнерам звука в программировании звуковых синтезаторов. Однако, интеграция звуковых синтезаторов в обучающие процессы сопряжена с трудностями, включая ограниченный доступ к внутренним параметрам и недвусмысленность результатов. Одним из ключевых задач этой области является создание моделей, которые могут эффективно представлять звуковые примеры и поддерживать интеграцию с нейронными системами ASP. Несмотря на то, что deep learning становится привлекательным решением для этой задачи, непосредственное использование нейронных сетей в таких потоках сложно из-за недружественности некоторых синтезаторов к автоматизированной обработке. Таким образом, необходимо разрабатывать способы, которые могут эффективно описывать звуковые примеры и позволять нейронным сетям интегрироваться в процесс программирования синтезаторов. ## Метод Метод предлагаемой работы основывается на создании "нейроного прокси" (neural proxy), который представляет собой нейронную модель, обученную подбирать звуковые примеры, которые лучше всего соответствуют аудио-эмбеддингам, полученным от предобученной модели. Метод включает в себя несколько ключевых этапов: 1) подготовка данных, включая синтетические и ручно созданные примеры звуков, 2) обучение нейронной модели, которая может преобразовывать звуковые примеры из пространства синтезаторов в пространство аудио-эмбеддингов, и 3) оценка эффективности прокси в различных контекстах аудио-синтеза. Нейронная модель обучается на основе аудио эмбеддингов, полученных из предобученных моделей (таких как YAMNet или OpenL3), чтобы гарантировать гибкость и эффективность. ## Результаты Эксперименты проводились на основе звуковых примеров, полученных из трех популярных звуковых синтезаторов. Нейронные прокси были обучены с использованием различных аудио-эмбеддингов, а их эффективность была оценена в задаче соответствия звука синтезаторов. Оценки показали, что нейронные прокси эффективно представляют звуковые примеры и позволяют интегрироваться с нейронными системами ASP. Наилучшие результаты были достигнуты при использовании моделей с рекуррентными слоями и transformer-based моделей. Несмотря на некоторые ограничения по ресурсам (такие как вычислительные затраты), результаты были в целом убедительными, показав возможность применения нейронных прокси в нейронных системах ASP. ## Значимость Нейронные прокси могут иметь широкое применение в области зв