MENDR: Manifold Explainable Neural Data Representations
2508.04956v1
cs.LG, cs.AI
2025-08-09
Авторы:
Matthew Chen, Micky Nnamdi, Justin Shao, Andrew Hornback, Hongyun Huang, Ben Tamo, Yishan Zhong, Benoit Marteau, Wenqi Shi, May Dongmei Wang
Резюме на русском
## КОНТЕКСТ И ПРОБЛЕМАТИКА
Развитие нейронных сетей для обработки электроэнцефалограмм (ЭЭГ) открыло новые возможности в медицинской диагностике и монитории. Однако существующие модели, особенно фундаментальные модели (foundation models), сталкиваются с рядом проблем, связанных с их прозрачностью и интерпретируемостью. Многие модели не дают полного представления о том, как они обучаются на ЭЭГ-данных и как сохраняют информацию в их э Acidifications. Это ограничивает их применение в клинической практике, где необходимо не только высокое качество прогнозов, но и понимание того, как эти прогнозы формируются.
Традиционные подходы к обработке ЭЭГ часто опираются на временную область, не полностью используя преимущества современных методов цифровой обработки сигналов, таких как вейвлет-трансформы. Эти методы позволяют извлекать детерминированные и трассируемые функциональные признаки с различными временными разрешениями. Кроме того, существующие модели часто требуют большого количества параметров, что создает дополнительные трудности для их эффективного использования в реальных клинических условиях.
В этой связи возникает необходимость в разработке модели, которая бы объединила высокую точность, эффективность и прозрачность. Такая модель должна быть способна не только обрабатывать ЭЭГ-данные с высокой точностью, но и предоставлять интерпретируемые результаты, которые могут быть поняты клиническими специалистами.
## ПРЕДЛОЖЕННЫЙ МЕТОД
В статье предлагается MENDR (Manifold Explainable Neural Data Representations), инновационная модель, основанная на трансформере и фильтровочной банковой архитектуре. Основная идея MENDR заключается в обучении на основе симметричных положительно определенных матричных представлений ЭЭГ-сигналов, которые позволяют более эффективно представлять и интерпретируемый контент.
MENDR использует вейвлет-трансформы для разложения ЭЭГ-сигналов на многоуровневые коэффициенты, что позволяет сохранить информацию на различных временных масштабах. Модель обучается на большом корпусе данных, состоящем из более чем 4000 часов ЭЭГ-записей. Эта обучающая выборка обеспечивает разнообразие и объем данных, необходимый для формирования общих представлений.
Архитектура MENDR включает в себя Riemannian Manifold Transformer, который позволяет обрабатывать симметричные положительно определенные матрицы. Этот подход обеспечивает более высокую точность и интерпретируемость, так как эти матрицы могут быть визуализированы в виде геометрических эллипсоидов, что упрощает анализ и понимание результатов.
## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ
Для оценки эффективности MENDR проведены эксперименты на нескольких клинических задачах, связанных с анализом ЭЭГ. Модель демонстрирует результаты, близкие к лучшим решениям в отрасли, при этом требуя значительно меньшего количества параметров. Это подтверждает ее эффективность и потенциал для практического применения.
В экспериментах также показано, что MENDR позволяет точно восстанавливать ЭЭГ-сигналы из полученных э Acidifications, что является важной характеристикой для клинического применения. Благодаря визуализации симметричных положительно определенных матриц в виде эллипсоидов, модель обеспечивает более прозрачный и понятный способ анализа данных.
## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ
MENDR имеет значительный потенциал для применения в клинической практике. Благодаря своей прозрачности и интерпретируемости, модель может быть использована для более точного диагностирования и мониторинга состояния пациентов. Кроме того, ее эффективность и меньшее количество параметров делают ее более доступной для реального использования в клинических условиях.
## ВЫВОДЫ И ПЕРСПЕКТИВЫ
MENDR представляет собой важный шаг в развитии интерпретируемых нейронных моделей для анализа ЭЭГ. Будущие исследования могут фокусироваться на дальнейшем улучшении архитектуры, а также на интеграции модели в более широкий контекст медицинских приложений.
Abstract
Foundation models for electroencephalography (EEG) signals have recently
demonstrated success in learning generalized representations of EEGs,
outperforming specialized models in various downstream tasks. However, many of
these models lack transparency in their pretraining dynamics and offer limited
insight into how well EEG information is preserved within their embeddings. For
successful clinical integration, EEG foundation models must ensure transparency
in pretraining, downstream fine-tuning, and the interpretability of learned
representations. Current approaches primarily operate in the temporal domain,
overlooking advancements in digital signal processing that enable the
extraction of deterministic and traceable features, such as wavelet-based
representations. We propose MENDR (Manifold Explainable Neural Data
Representations), a filter bank-based EEG foundation model built on a novel
Riemannian Manifold Transformer architecture to resolve these issues. MENDR
learns symmetric positive definite matrix embeddings of EEG signals and is
pretrained on a large corpus comprising over 4,000 hours of EEG data,
decomposed via discrete wavelet packet transforms into multi-resolution
coefficients. MENDR significantly enhances interpretability by visualizing
symmetric positive definite embeddings as geometric ellipsoids and supports
accurate reconstruction of EEG signals from learned embeddings. Evaluations
across multiple clinical EEG tasks demonstrate that MENDR achieves near
state-of-the-art performance with substantially fewer parameters, underscoring
its potential for efficient, interpretable, and clinically applicable EEG
analysis.
Ссылки и действия
Дополнительные ресурсы: