Back to Ear: Perceptually Driven High Fidelity Music Reconstruction

## Контекст Музыкальная реконструкция — это важная задача в области обработки звука, направленная на воссоздание высококачественного аудио отсчётов с помощью различных моделей машинного обучения. Одна из лидирующих парадигм в этой области — Variational Autoencoders (VAEs), которые показали свою эффективность в задачах различной сложности, включая диффузионно-ориентированные методы генерации. Однако, существующие модели часто не учитывают аудио-перцептивные аспекты в процессе обучения, что приводит к ухудшению точности фазы и стерео-спациальной репрезентации. Эти недостатки становятся особенно заметными при работе с высокочастотными гармониями и разделением звуков между каналами. Модель **e-ar-VAE** была разработана для решения этих проблем, предлагая новые подходы к обучению и оптимизации VAE для реконструкции музыкальных сигналов. ## Метод Модель **e-ar-VAE** предлагает три основных усовершенствования в обучении VAE для музыкальной реконструкции. Во-первых, **K-weighting perceptual filter** применяется перед расчетом потерь, чтобы выравнивать целевую функцию с перцептивными характеристиками звука. Во-вторых, введены два новых потерь для фазы: **Correlation Loss** для повышения стерео-корреляции и **Phase Loss**, основанный на дифференцированных мердах — **Instantaneous Frequency** и **Group Delay**. Эти потери позволяют увеличить точность фазовой репрезентации. В-третьих, предлагается новый способ спектрального надзора: в многоканальном случае **magnitude** супервайзится всеми четырьмя каналами (**Mid/Side/Left/Right**), в то время как **phase** только двумя (**LR**). Это позволяет улучшить спектральную и стерео-синергию. ## Результаты Эксперименты показали, что **e-ar-VAE** показывает значительно более высокую точность в реконструкции музыкальных сигналов по сравнению с лидирующими моделями. Особенно выдающимися результатами она демонстрирует в области восстановления высокочастотных гармоний и стерео-спациальной структуры. Использованные данные включают различные аудиозаписи, от диапазона частот до 44.1kHz. Вычислительные эксперименты подтвердили, что модель **e-ar-VAE** не только превосходит конкуренты в качестве реконструкции, но и эффективно работает в высокочастотных условиях, где другие модели часто страдают от потерь в точности и спектральной структуре. ## Значимость Результаты **e-ar-VAE** имеют большое значение для нескольких областей применения: - **Музыкальная генерация и реконструкция**: Улучшенное качество сигнала обеспечивает более реалистичные и естественные аудио-опыты. - **Стерео-анализ и анализ звукового спектра**: Более точные фазовые репрезента