Mentality: A Mamba-based Approach towards Foundation Models for EEG
2509.02746v1
cs.LG, cs.AI, q-bio.NC
2025-09-05
Авторы:
Saarang Panchavati, Corey Arnold, William Speier
Резюме на русском
#### Контекст
Электроэнцефалография (EEG) является фундаментальным инструментом в диагностике нозологий неврологического профиля, включая эпилепсию и другие заболевания. Однако данные EEG обладают характеристиками, которые сложностью приводят к сложностям в анализе. Они являются шумными, в высоком разрешении и обладают сложной спатио-временной динамикой. Традиционные методы машинного обучения, хотя и демонстрируют успехи в автоматизации анализа EEG, часто недостаточно эффективны в учёте зависимостей в пространстве и времени. Недавние развития в области глубокого обучения, особенно в последовательном моделировании, предоставляют новые возможности для создания моделей, более гибких и выразительных, для этих задач. Модель Mamba-based selective state space, разработанная для решения этих задач, представляет собой оригинальный подход к улучшению EEG-анализа, предназначенный для характеристик данных EEG.
#### Метод
Метод, изложенный в статье, основывается на создании создании Mamba-based selective state space model, который направлен на обработку EEG-данных. Технической основой является создание селективной структуры, которая активно выбирает важные спатио-временные признаки. Модель обучается с использованием самостоятельного самостоятельного задания реконструкции, прежде чем предсказывать задачу детектирования сейзуров. Это подход сочетает в себе процессы обучения без подписи и супервизованного обучения, чтобы корректно учитывать характеристики данных EEG. Модель построена на основе базового моделирования, которое учитывает сложные зависимости в собственном многомерном пространстве.
#### Результаты
В ходе экспериментов был продемонстрирован эффектеность модели в задаче детектирования сейзуров на большом объёме данных, включая записи с и без сейзуров. Был получен результат с метрикой AUROC 0.72 на тестовой выборке, что является высоким показателем, указывающим на эффективность структуры модели. Также был продемонстрирован улучшение точности и стабильности в детектовании сейзуров по сравнению с базовыми методами. Эти результаты указывают на то, что модель Mamba-based selective state space может стать основой для более точного и доступного диагностического инструмента.
#### Значимость
Этот подход имеет значимый потенциал в области неврологии и анализа EEG. Он может повысить точность диагноза заболеваний, таких как эпилепсия, и других неврологических расстройств. Модель Mamba-based selective state space представляет собой значительный прорыв в создании большого масштаба моделей, пригодных для клинического применения. Благодаря своей выразительности и способности обрабатывать сложные спатио-временные данные, она может стать
Abstract
This work explores the potential of foundation models, specifically a
Mamba-based selective state space model, for enhancing EEG analysis in
neurological disorder diagnosis. EEG, crucial for diagnosing conditions like
epilepsy, presents significant challenges due to its noisy, high-dimensional,
and nonlinear nature. Traditional machine learning methods have made advances
in automating EEG analysis but often fail to capture its complex
spatio-temporal dynamics. Recent advances in deep learning, particularly in
sequence modeling, offer new avenues for creating more generalized and
expressive models capable of handling such complexities. By training a
Mamba-based model on a large dataset containing seizure and non-seizure EEG
recordings through a self-supervised reconstruction task followed by a seizure
detection task, we demonstrate the model's effectiveness, achieving an AUROC of
0.72 on a held-out test set. This approach marks a significant step toward
developing large-scale, clinically applicable foundation models for EEG data
analysis.
Ссылки и действия
Дополнительные ресурсы: