Uni-NTFM: A Unified Foundation Model for EEG Signal Representation Learning

#### Контекст Исследования по фундаментальным моделям для представления сигналов электроэнцефалограммы (EEG) возникают в свету приближения к "зрелости" в области биомедицинских технологий. Тем не менее, существуют три главных проблемы в существующих моделях: 1) конфликт временных шкал временных рядов и ритмических частотных признаков, 2) невязыка структуры электродов, что приводит к потере структурных данных во время обучения, и 3) ограниченность дальнейшего расширения моделей за счет использования неэффективных архитектур. Эти ограничения мешают получению нейронных сигналов, которые требуются для эффективного использования моделей в медицинских и исследовательских задачах. #### Метод Uni-NTFM представляет собой инновационную модель, основанную на основных принципах нейроника. Она разделяет обработку данных на три основные пути: 1) временную структуру, 2) частотные признаки, и 3) непосредственно сигнал в прямом виде. Данные потоки обрабатываются параллельно и потом объединяются с использованием мощной модели Mixture-of-Experts neural Transformer. Модель также включает новую механику топологического вложения, которая использует принципы многоугольников и решеток для генерации унифицированных последовательностей для разных стандартов электродов, чтобы улучшить структурную информацию. #### Результаты Uni-NTFM была тренирована на более 28,000 часов EEG-данных с помощью масокнутых методов обучения (masked reconstruction objectives). Эта модель достигла заметного превосходства по сравнению с другими моделями в 9 различных задачах (таких как классификация состояния сознания, обнаружение заболеваний, и др.), применяя обоие методы пробного обучения и полного тренировка. Модель Uni-NTFM$_{large}$ достигла рекордных 1.9 млрд параметров и показала выдающиеся результаты в предсказании различных распределенных паттернов в ЭЭГ. #### Значимость Uni-NTFM имеет широкие приложения в области медицинских исследований, техники биологического мониторинга, и компьютерных технологий в области здоровья. Отличительными особенностями являются: 1) эффективность обучения на больших данных, 2) универсальность и интерпретируемость представлений, 3) гибкость в применении и расширении для различных задач. Эта модель может стать основополагающим элементом для дальнейших исследований в нейронауках и биомедицинских технологиях. #### Выводы Uni-NTFM достигла существенных улучшений в представлении EEG-сигналов, что демонстрирует её потенциал для решения ключевых проблем в этой области. Будущие исследования будут сфокусированы на улучшении модели для работы с реальными