IS${}^3$ : Generic Impulsive--Stationary Sound Separation in Acoustic Scenes using Deep Filtering
2509.02622v1
eess.AS, cs.AI, cs.SD, eess.SP
2025-09-05
Авторы:
Berger Clémentine, Stamadiatis Paraskevas, Badeau Roland, Essid Slim
Резюме на русском
## Контекст
Область рассмотрения — разработка систем анализа акустических сцен, которые могут выделять изолированные акустические события и стационарные фоновые звуки. Такие системы применяются для решения реальных задач, включая адаптивную настройку звука, убирание шумов, очистку голоса, классификацию акустических событий и даже анализ биоакустики. Однако существующие методы, такие как Harmonic--Percussive Sound Separation (HPSS) или wavelet filtering, не так эффективны при работе с сигналами акустических сцен. Требуется более специализированный подход для разделения impulsive (изолированных) и stationary (стационарных) звуков. Мотивация заключается в создании универсальной системы IS${}^3$, которая моглала бы решить эту проблему, обеспечивая универсальный и эффективный подход к акустическому разделению.
## Метод
Для решения данной задачи предложена методология Deep Filtering, которая основывается на нейронных сетях. IS${}^3$ — это нейронная сеть, которая отделяет impulsive и stationary события в акустических сценах. Основной идеей является использование фильтрации, чтобы выделить акустические события, которые имеют импульсный характер (например, стоны, звуки стука), от стационарных фоновых звуков (например, шума помещения). Архитектура сети включает нейронные слои, работающие с звуковыми данными с разными частотными особенностями. Для эффективной обученности сети была разработана инновационная система подготовки данных, которая позволяет применять использованные данные в различных контекстах и условиях.
## Результаты
В ходе экспериментов сравнили результаты IS${}^3$ с двумя другими подходами: Harmonic--Percussive Sound Separation и wavelet filtering. Были использованы разные акустические данные, включая синтетические и реальные сигналы. Результаты показали, что IS${}^3$ превосходит другие методы по таким критериям, как Signal-to-Distortion Ratio (SDR) и Signal-to-Interference Ratio (SIR). Например, IS${}^3$ показала значительно более высокую точность в отделении impulsive звуков от фоновых, сравниваясь с HPSS. Также работа была протестирована на нескольких сценах, включая голос и природные звуки, и показала устойчивость в различных условиях.
## Значимость
Полученная система IS${}^3$ имеет большое практическое значение в различных областях. Она может применяться в адаптивном аудио-процессинге, например для компрессии или нормализации звука, в устранении шумов, в классификации акустических событий и даже в биоакустическом исследовании. Ее главное преимущество — универсальность и эффективность, которые позволяют применять ее в разных сценах. Благодаря своему новому подходу, IS${}^
Abstract
We are interested in audio systems capable of performing a differentiated
processing of stationary backgrounds and isolated acoustic events within an
acoustic scene, whether for applying specific processing methods to each part
or for focusing solely on one while ignoring the other. Such systems have
applications in real-world scenarios, including robust adaptive audio rendering
systems (e.g., EQ or compression), plosive attenuation in voice mixing, noise
suppression or reduction, robust acoustic event classification or even
bioacoustics. To this end, we introduce IS${}^3$, a neural network designed for
Impulsive--Stationary Sound Separation, that isolates impulsive acoustic events
from the stationary background using a deep filtering approach, that can act as
a pre-processing stage for the above-mentioned tasks. To ensure optimal
training, we propose a sophisticated data generation pipeline that curates and
adapts existing datasets for this task. We demonstrate that a learning-based
approach, build on a relatively lightweight neural architecture and trained
with well-designed and varied data, is successful in this previously
unaddressed task, outperforming the Harmonic--Percussive Sound Separation
masking method, adapted from music signal processing research, and wavelet
filtering on objective separation metrics.