📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 0

Последнее обновление: сегодня
Авторы:

Paolo Combes, Stefan Weinzierl, Klaus Obermayer

## Контекст Автоматическое программирование звуковых синтезаторов (Automatic Synthesizer Programming, ASP) является важной областью исследований, направленной на помощь музыкантам и дизайнерам звука в программировании звуковых синтезаторов. Однако, интеграция звуковых синтезаторов в обучающие процессы сопряжена с трудностями, включая ограниченный доступ к внутренним параметрам и недвусмысленность результатов. Одним из ключевых задач этой области является создание моделей, которые могут эффективно представлять звуковые примеры и поддерживать интеграцию с нейронными системами ASP. Несмотря на то, что deep learning становится привлекательным решением для этой задачи, непосредственное использование нейронных сетей в таких потоках сложно из-за недружественности некоторых синтезаторов к автоматизированной обработке. Таким образом, необходимо разрабатывать способы, которые могут эффективно описывать звуковые примеры и позволять нейронным сетям интегрироваться в процесс программирования синтезаторов. ## Метод Метод предлагаемой работы основывается на создании "нейроного прокси" (neural proxy), который представляет собой нейронную модель, обученную подбирать звуковые примеры, которые лучше всего соответствуют аудио-эмбеддингам, полученным от предобученной модели. Метод включает в себя несколько ключевых этапов: 1) подготовка данных, включая синтетические и ручно созданные примеры звуков, 2) обучение нейронной модели, которая может преобразовывать звуковые примеры из пространства синтезаторов в пространство аудио-эмбеддингов, и 3) оценка эффективности прокси в различных контекстах аудио-синтеза. Нейронная модель обучается на основе аудио эмбеддингов, полученных из предобученных моделей (таких как YAMNet или OpenL3), чтобы гарантировать гибкость и эффективность. ## Результаты Эксперименты проводились на основе звуковых примеров, полученных из трех популярных звуковых синтезаторов. Нейронные прокси были обучены с использованием различных аудио-эмбеддингов, а их эффективность была оценена в задаче соответствия звука синтезаторов. Оценки показали, что нейронные прокси эффективно представляют звуковые примеры и позволяют интегрироваться с нейронными системами ASP. Наилучшие результаты были достигнуты при использовании моделей с рекуррентными слоями и transformer-based моделей. Несмотря на некоторые ограничения по ресурсам (такие как вычислительные затраты), результаты были в целом убедительными, показав возможность применения нейронных прокси в нейронных системах ASP. ## Значимость Нейронные прокси могут иметь широкое применение в области зв
Annotation:
Deep learning appears as an appealing solution for Automatic Synthesizer Programming (ASP), which aims to assist musicians and sound designers in programming sound synthesizers. However, integrating software synthesizers into training pipelines is challenging due to their potential non-differentiability. This work tackles this challenge by introducing a method to approximate arbitrary synthesizers. Specifically, we train a neural network to map synthesizer presets onto an audio embedding space d...
ID: 2509.07635v1 cs.SD, cs.LG, eess.AS, 68T07, H.5.5; J.5; I.5.4