MENDR: Manifold Explainable Neural Data Representations

2508.04956v1 cs.LG, cs.AI 2025-08-09
Авторы:

Matthew Chen, Micky Nnamdi, Justin Shao, Andrew Hornback, Hongyun Huang, Ben Tamo, Yishan Zhong, Benoit Marteau, Wenqi Shi, May Dongmei Wang

Резюме на русском

## КОНТЕКСТ И ПРОБЛЕМАТИКА Развитие нейронных сетей для обработки электроэнцефалограмм (ЭЭГ) открыло новые возможности в медицинской диагностике и монитории. Однако существующие модели, особенно фундаментальные модели (foundation models), сталкиваются с рядом проблем, связанных с их прозрачностью и интерпретируемостью. Многие модели не дают полного представления о том, как они обучаются на ЭЭГ-данных и как сохраняют информацию в их э Acidifications. Это ограничивает их применение в клинической практике, где необходимо не только высокое качество прогнозов, но и понимание того, как эти прогнозы формируются. Традиционные подходы к обработке ЭЭГ часто опираются на временную область, не полностью используя преимущества современных методов цифровой обработки сигналов, таких как вейвлет-трансформы. Эти методы позволяют извлекать детерминированные и трассируемые функциональные признаки с различными временными разрешениями. Кроме того, существующие модели часто требуют большого количества параметров, что создает дополнительные трудности для их эффективного использования в реальных клинических условиях. В этой связи возникает необходимость в разработке модели, которая бы объединила высокую точность, эффективность и прозрачность. Такая модель должна быть способна не только обрабатывать ЭЭГ-данные с высокой точностью, но и предоставлять интерпретируемые результаты, которые могут быть поняты клиническими специалистами. ## ПРЕДЛОЖЕННЫЙ МЕТОД В статье предлагается MENDR (Manifold Explainable Neural Data Representations), инновационная модель, основанная на трансформере и фильтровочной банковой архитектуре. Основная идея MENDR заключается в обучении на основе симметричных положительно определенных матричных представлений ЭЭГ-сигналов, которые позволяют более эффективно представлять и интерпретируемый контент. MENDR использует вейвлет-трансформы для разложения ЭЭГ-сигналов на многоуровневые коэффициенты, что позволяет сохранить информацию на различных временных масштабах. Модель обучается на большом корпусе данных, состоящем из более чем 4000 часов ЭЭГ-записей. Эта обучающая выборка обеспечивает разнообразие и объем данных, необходимый для формирования общих представлений. Архитектура MENDR включает в себя Riemannian Manifold Transformer, который позволяет обрабатывать симметричные положительно определенные матрицы. Этот подход обеспечивает более высокую точность и интерпретируемость, так как эти матрицы могут быть визуализированы в виде геометрических эллипсоидов, что упрощает анализ и понимание результатов. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности MENDR проведены эксперименты на нескольких клинических задачах, связанных с анализом ЭЭГ. Модель демонстрирует результаты, близкие к лучшим решениям в отрасли, при этом требуя значительно меньшего количества параметров. Это подтверждает ее эффективность и потенциал для практического применения. В экспериментах также показано, что MENDR позволяет точно восстанавливать ЭЭГ-сигналы из полученных э Acidifications, что является важной характеристикой для клинического применения. Благодаря визуализации симметричных положительно определенных матриц в виде эллипсоидов, модель обеспечивает более прозрачный и понятный способ анализа данных. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ MENDR имеет значительный потенциал для применения в клинической практике. Благодаря своей прозрачности и интерпретируемости, модель может быть использована для более точного диагностирования и мониторинга состояния пациентов. Кроме того, ее эффективность и меньшее количество параметров делают ее более доступной для реального использования в клинических условиях. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ MENDR представляет собой важный шаг в развитии интерпретируемых нейронных моделей для анализа ЭЭГ. Будущие исследования могут фокусироваться на дальнейшем улучшении архитектуры, а также на интеграции модели в более широкий контекст медицинских приложений.

Abstract

Foundation models for electroencephalography (EEG) signals have recently demonstrated success in learning generalized representations of EEGs, outperforming specialized models in various downstream tasks. However, many of these models lack transparency in their pretraining dynamics and offer limited insight into how well EEG information is preserved within their embeddings. For successful clinical integration, EEG foundation models must ensure transparency in pretraining, downstream fine-tuning, and the interpretability of learned representations. Current approaches primarily operate in the temporal domain, overlooking advancements in digital signal processing that enable the extraction of deterministic and traceable features, such as wavelet-based representations. We propose MENDR (Manifold Explainable Neural Data Representations), a filter bank-based EEG foundation model built on a novel Riemannian Manifold Transformer architecture to resolve these issues. MENDR learns symmetric positive definite matrix embeddings of EEG signals and is pretrained on a large corpus comprising over 4,000 hours of EEG data, decomposed via discrete wavelet packet transforms into multi-resolution coefficients. MENDR significantly enhances interpretability by visualizing symmetric positive definite embeddings as geometric ellipsoids and supports accurate reconstruction of EEG signals from learned embeddings. Evaluations across multiple clinical EEG tasks demonstrate that MENDR achieves near state-of-the-art performance with substantially fewer parameters, underscoring its potential for efficient, interpretable, and clinically applicable EEG analysis.

Ссылки и действия