EEG-FM-Bench: A Comprehensive Benchmark for the Systematic Evaluation of EEG Foundation Models

2508.17742v1 eess.SP, cs.AI, cs.HC 2025-08-27
Авторы:

Wei Xiong, Jiangtong Li, Jie Li, Kun Zhu

Резюме на русском

## Контекст Современные исследования в области нейросигнальных данных, основанных на электроэнцефалографии (EEG), находятся в стадии быстрого развития. Это дисциплина, применяемая в медицинской диагностике, динамическом мониторинге состояния здоровья, улучшении интеллектуальных технологий и других направлениях. Однако наблюдается фрагментация в систематических оценках моделей фаундациональных моделей EEG (EEG-FM), что существенно затрудняет сравнение моделей и направленное научное развитие. Эта проблема возникает из-за отсутствия стандартизированных бенчмарков, а также порождает неэффективность в исследованиях. Целью данной работы является снятие этого ограничения, предоставление сообществу стандартизированной платформы для сравнения и развития моделей EEG-FM. ## Метод Разработка EEG-FM-Bench заключается в нескольких ключевых этапах. Во-первых, мы сформировали разнообразный набор задач и данных из классических парадигм EEG, включая задачи классификации, регрессии и детектирования. Все данные были обработаны стандартизированным процессом, чтобы гармонизировать их для обучения и оценки моделей. Во-вторых, мы реализовали протоколы оценки в унифицированном фреймворке, чтобы обеспечить последовательность и повторяемость экспериментов. В-третьих, мы оценили значимость базовых моделей с помощью этих протоколов, чтобы установить стандартные базовые результаты для последующих сравнений. ## Результаты В рамках этого исследования мы провели систематические эксперименты с известными моделями EEG-FM, включая ALBERT, BERT и другие. Данные были проанализированы с использованием нашего фреймворка, чтобы определить ключевые факторы, влияющие на точность моделей. Мы получили доказательство того, что модели, использующие сложные спектро-временные признаки, показывают более высокую общую точность и гибкость по сравнению с более простыми архитектурами. Также было замечено, что многозадачное обучение и интеграция психонервных принципов могут способствовать улучшению моделей. ## Значимость EEG-FM-Bench предлагает несколько ключевых преимуществ. Во-первых, он обеспечивает стандартизированную оценку моделей, что позволяет легко сравнивать разнообразные модели. Во-вторых, он призван ускорить развитие новых архитектур, обеспечивая научной сообщности рабочую среду для эффективных исследований. В-третьих, результаты нашего исследования демонстрируют возможность моделей для решения сложных задач в области нейросигналы, включая диагностику заболеваний и мониторинг состояния мозга. ## Выводы Мы представили EEG-FM-Bench, первы

Abstract

Electroencephalography (EEG) foundation models are poised to significantly advance brain signal analysis by learning robust representations from large-scale, unlabeled datasets. However, their rapid proliferation has outpaced the development of standardized evaluation benchmarks, which complicates direct model comparisons and hinders systematic scientific progress. This fragmentation fosters scientific inefficiency and obscures genuine architectural advancements. To address this critical gap, we introduce EEG-FM-Bench, the first comprehensive benchmark for the systematic and standardized evaluation of EEG foundation models (EEG-FMs). Our contributions are threefold: (1) we curate a diverse suite of downstream tasks and datasets from canonical EEG paradigms, implementing standardized processing and evaluation protocols within a unified open-source framework; (2) we benchmark prominent state-of-the-art foundation models to establish comprehensive baseline results for a clear comparison of the current landscape; (3) we perform qualitative analyses of the learned representations to provide insights into model behavior and inform future architectural design. Through extensive experiments, we find that fine-grained spatio-temporal feature interaction, multitask unified training and neuropsychological priors would contribute to enhancing model performance and generalization capabilities. By offering a unified platform for fair comparison and reproducible research, EEG-FM-Bench seeks to catalyze progress and guide the community toward the development of more robust and generalizable EEG-FMs. Code is released at https://github.com/xw1216/EEG-FM-Bench.

Ссылки и действия