SoundCompass: Navigating Target Sound Extraction With Effective Directional Clue Integration In Complex Acoustic Scenes

## Контекст Значительные усилия в области звуковой обработки направлены на решение проблемы выделения целевого звука (Target Sound Extraction, TSE) в сложной акустической среде. Целевой звук часто загрязняется другими акустическими сигналами, что снижает качество звука и затрудняет его анализ. Достижения в этой области могут применяться в сферах, таких как контроль звука, реалистичная имитация звуков, звуковые интерфейсы для виртуальных и аugmented реальностей, а также в медицинской диагностике. Однако существующие методы сталкиваются с ограничениями в том, что они неэффективно используют данные о направлении звука (DoA, Direction of Arrival) или недостаточно эффективно интегрируют эти данные, что приводит к потере тонкой спектральной информации. Это призвана решить SoundCompass, новая модель, которая предлагает инновационный подход к интеграции направленных спектральных классов. ## Метод SoundCompass основывается на Spectral Pairwise INteraction (SPIN) module, который анализирует взаимосвязи между каналами в сложных спектрограммах. Благодаря этому модулю, модель может полностью сохранить геометрическую информацию в многоканальных сигналах. Данные о направлении звука (DoA) представлены в форме сферических гармоник (SH). Для интеграции этих данных спектральные классы и DoA объединяются в одном фреймворке, который использует ядро свертки для перекрывающихся поддиапазонов частот. Таким образом, модель удается сохранить тонкую спектральную информацию и эффективно использовать направленные сигналы. Эти данные же повторно используются в iterative refinement strategy, или Chain-of-Inference (CoI), которая повторяет процесс выделения звука, учитывая предыдущие результаты, улучшая точность и результаты. ## Результаты Набор экспериментов проводился на соревновательной базе данных, включающей различные звуковые сигналы и сложные акустические сцены. Результаты показали, что SoundCompass превосходит существующие методы в целевом выделении звука. Это продемонстрировано с помощью метрик, таких как Signal-to-Distortion Ratio (SDR) и Source-to-Interference Ratio (SIR). Метод особенно эффективен в сценах с многоканальными сигналами и сложными интерфейсами, где предыдущие методы оказывались неэффективны. Это позволяет SoundCompass применяться в области аудио-визуальных систем, виртуальной и аugmented реальности, а также в звуковой диагностике. ## Значимость SoundCompass предлагает новый подход к решению проблемы выделения целевого звука, сохраняя полную спектральную и направленную информацию. Его можно применять в сферах, где важно выделить звуковые сигналы в условиях шума и