Scattering Transformer: A Training-Free Transformer Architecture for Heart Murmur Detection
2509.18424v1
cs.SD, cs.AI, eess.AS
2025-09-25
Авторы:
Rami Zewail
Резюме на русском
#### Контекст
Автоматизация измерения сердечных звуков, таких как сердечные мурлы, является ключевым направлением в современной медицине. Несмотря на развитие глубокого обучения, эта область сталкивается с рядом проблем, в том числе ограниченным количеством тренировочных данных и высокими требованиями к вычислительной мощности современных моделей. Данные проблемы ограничивают применение глубокого обучения в условиях ресурсосложных сред, таких как районы с недостатком квалифицированных клинических работников.
#### Метод
Для решения этой проблемы предложена новая архитектура Scattering Transformer, основанная на стандартных цепочках волнового сказывания. Модель использует контекстные зависимости звуковых фреймов, аналогично трансформеру, но без необходимости обучения с помощью функции потерь. Этот подход позволяет получить модель, требующую минимальных вычислительных ресурсов и освобождающуюся от зависимости от больших объемов данных.
#### Результаты
Выполнены эксперименты на публичном наборе данных CirCor DigiScope. Модель Scattering Transformer показала весовую точность (Weighted Accuracy, WAR) в 0.786 и невесовую среднюю точность (Unweighted Average Recall, UAR) в 0.697. Эти результаты достигаются при минимальном потреблении ресурсов, что делает модель высокоэффективной в условиях нехватки вычислительных мощностей.
#### Значимость
Предложенная модель может быть применена в условиях ресурсосложных систем, таких как сердечная аустуляция в медицинских учреждениях без доступа к высокопроизводительным вычислительным средствам. Она предоставляет высокую точность при очень низком потреблении вычислительных мощностей, что делает ее уникальной в сравнении с традиционными архитектурами.
#### Выводы
Scattering Transformer демонстрирует высокую эффективность в автоматизации диагностики сердечных мурлы, даже при ограниченных вычислительных ресурсах. Будущие исследования будут ориентированы на расширение модели для диагностики других сердечных аномалий и улучшение ее общих характеристик.
Abstract
In an attempt to address the need for skilled clinicians in heart sound
interpretation, recent research efforts on automating cardiac auscultation have
explored deep learning approaches. The majority of these approaches have been
based on supervised learning that is always challenged in occasions where
training data is limited. More recently, there has been a growing interest in
potentials of pre-trained self-supervised audio foundation models for
biomedical end tasks. Despite exhibiting promising results, these foundational
models are typically computationally intensive. Within the context of automatic
cardiac auscultation, this study explores a lightweight alternative to these
general-purpose audio foundation models by introducing the Scattering
Transformer, a novel, training-free transformer architecture for heart murmur
detection. The proposed method leverages standard wavelet scattering networks
by introducing contextual dependencies in a transformer-like architecture
without any backpropagation. We evaluate our approach on the public CirCor
DigiScope dataset, directly comparing it against leading general-purpose
foundational models. The Scattering Transformer achieves a Weighted
Accuracy(WAR) of 0.786 and an Unweighted Average Recall(UAR) of 0.697,
demonstrating performance highly competitive with contemporary state of the art
methods. This study establishes the Scattering Transformer as a viable and
promising alternative in resource-constrained setups.
Ссылки и действия
Дополнительные ресурсы: