Mentality: A Mamba-based Approach towards Foundation Models for EEG

2509.02746v1 cs.LG, cs.AI, q-bio.NC 2025-09-05
Авторы:

Saarang Panchavati, Corey Arnold, William Speier

Резюме на русском

#### Контекст Электроэнцефалография (EEG) является фундаментальным инструментом в диагностике нозологий неврологического профиля, включая эпилепсию и другие заболевания. Однако данные EEG обладают характеристиками, которые сложностью приводят к сложностям в анализе. Они являются шумными, в высоком разрешении и обладают сложной спатио-временной динамикой. Традиционные методы машинного обучения, хотя и демонстрируют успехи в автоматизации анализа EEG, часто недостаточно эффективны в учёте зависимостей в пространстве и времени. Недавние развития в области глубокого обучения, особенно в последовательном моделировании, предоставляют новые возможности для создания моделей, более гибких и выразительных, для этих задач. Модель Mamba-based selective state space, разработанная для решения этих задач, представляет собой оригинальный подход к улучшению EEG-анализа, предназначенный для характеристик данных EEG. #### Метод Метод, изложенный в статье, основывается на создании создании Mamba-based selective state space model, который направлен на обработку EEG-данных. Технической основой является создание селективной структуры, которая активно выбирает важные спатио-временные признаки. Модель обучается с использованием самостоятельного самостоятельного задания реконструкции, прежде чем предсказывать задачу детектирования сейзуров. Это подход сочетает в себе процессы обучения без подписи и супервизованного обучения, чтобы корректно учитывать характеристики данных EEG. Модель построена на основе базового моделирования, которое учитывает сложные зависимости в собственном многомерном пространстве. #### Результаты В ходе экспериментов был продемонстрирован эффектеность модели в задаче детектирования сейзуров на большом объёме данных, включая записи с и без сейзуров. Был получен результат с метрикой AUROC 0.72 на тестовой выборке, что является высоким показателем, указывающим на эффективность структуры модели. Также был продемонстрирован улучшение точности и стабильности в детектовании сейзуров по сравнению с базовыми методами. Эти результаты указывают на то, что модель Mamba-based selective state space может стать основой для более точного и доступного диагностического инструмента. #### Значимость Этот подход имеет значимый потенциал в области неврологии и анализа EEG. Он может повысить точность диагноза заболеваний, таких как эпилепсия, и других неврологических расстройств. Модель Mamba-based selective state space представляет собой значительный прорыв в создании большого масштаба моделей, пригодных для клинического применения. Благодаря своей выразительности и способности обрабатывать сложные спатио-временные данные, она может стать

Abstract

This work explores the potential of foundation models, specifically a Mamba-based selective state space model, for enhancing EEG analysis in neurological disorder diagnosis. EEG, crucial for diagnosing conditions like epilepsy, presents significant challenges due to its noisy, high-dimensional, and nonlinear nature. Traditional machine learning methods have made advances in automating EEG analysis but often fail to capture its complex spatio-temporal dynamics. Recent advances in deep learning, particularly in sequence modeling, offer new avenues for creating more generalized and expressive models capable of handling such complexities. By training a Mamba-based model on a large dataset containing seizure and non-seizure EEG recordings through a self-supervised reconstruction task followed by a seizure detection task, we demonstrate the model's effectiveness, achieving an AUROC of 0.72 on a held-out test set. This approach marks a significant step toward developing large-scale, clinically applicable foundation models for EEG data analysis.

Ссылки и действия

Связанные статьи

Defining and Benchmarking a Data-Centric Design Space for Brain Graph Constructi...

## Контекст Область исследований, связанная с построением графов мозга (brain graphs) из изображений функциональной магн...

2025-08-20

Fast weight programming and linear transformers: from machine learning to neurob...

## Контекст Область исследования, охватывающая искусственные нейронные сети (АНС), сфокусирована на развитии моделей, эф...

2025-08-14