EMind: A Foundation Model for Multi-task Electromagnetic Signals Understanding

2508.18785v1 eess.SP, cs.AI, cs.CV 2025-08-28
Авторы:

Luqing Luo, Wenjin Gui, Yunfei Liu, Ziyue Zhang, Yunxi Zhang, Fengxiang Wang, Zonghao Guo, Zizhi Ma, Xinzhu Liu, Hanxiang He, Jinhai Li, Xin Qiu, Wupeng Xie, Yangang Sun

Резюме на русском

## Контекст Область понимания и анализа электромагнитных сигналов является ключевой для развития таких областей, как динамическое управление спектром, интеллектуальное транспортное система, автономное вождение и восприятие беспилотных систем. Однако эти задачи сталкиваются со множеством вызовов, включая высокую Heterogeneity сигналов, наличие сильного бэкграундного шума, а также сложную структуру во времени-частоте. Эти особенности делают существующие модели недостаточно эффективными для решения этих задач. Диапазон применения сигналов в разных сценариях требует моделей, которые могут обрабатывать различные типы сигналов и выполнять различные задачи. Однако, существующие подходы страдают от нехватки методов, которые могут обеспечивать переносимость и эффективность при перекрестных задачах. Кроме того, отсутствие больших, высококачественных датасетов ограничивает возможности создания общей фреймворка для многозадачного обучения. ## Метод EMind представляет собой фундаментальную модель для понимания электромагнитных сигналов, которая учитывает их уникальные характеристики. Модель основывается на методе **length adaptive multi-signal packing**, который позволяет эффективно обрабатывать сигналы различной длины и структуры. Для обеспечения эффективного обучения, разработана **hardware-aware training strategy**, которая позволяет оптимизировать процесс обучения, учитывая ограничения железа. Для построения модели, был создан **EM-Unified Dataset**, первый в своем роде универсальный датасет, который объединяет различные типы электромагнитных сигналов и задачи. Этот датасет позволяет эмулировать реальные сценарии использования и обеспечивает переносимость модели между различными задачами. ## Результаты EMind была проверена на широком спектре датасетов, включая задачи такие как spectrum sensing, modulation classification, и target detection. Эксперименты показали, что модель демонстрирует высокую точность и общую гибкость, превосходя существующие подходы. Особое внимание было уделено гибкости модели в работе с различными типами сигналов и задачами, что позволило EMind перейти от задач специфичных моделей к универсальному фреймворку для понимания электромагнитных сигналов. Благодаря своей адаптивности и эффективности, модель представляет собой первый шаг в создании общей модели для интеллектуального управления электромагнитными сигналами. ## Значимость Помимо своих внутренних достижений, EMind открывает новые возможности в многочисленных областях применения. Например, в области интеллектуального транспорта, модель может повысить точность распознавания объектов и уменьшить обработку шумов. В автономном вождении, она может улучшить во

Abstract

Deep understanding of electromagnetic signals is fundamental to dynamic spectrum management, intelligent transportation, autonomous driving and unmanned vehicle perception. The field faces challenges because electromagnetic signals differ greatly from text and images, showing high heterogeneity, strong background noise and complex joint time frequency structure, which prevents existing general models from direct use. Electromagnetic communication and sensing tasks are diverse, current methods lack cross task generalization and transfer efficiency, and the scarcity of large high quality datasets blocks the creation of a truly general multitask learning framework. To overcome these issue, we introduce EMind, an electromagnetic signals foundation model that bridges large scale pretraining and the unique nature of this modality. We build the first unified and largest standardized electromagnetic signal dataset covering multiple signal types and tasks. By exploiting the physical properties of electromagnetic signals, we devise a length adaptive multi-signal packing method and a hardware-aware training strategy that enable efficient use and representation learning from heterogeneous multi-source signals. Experiments show that EMind achieves strong performance and broad generalization across many downstream tasks, moving decisively from task specific models to a unified framework for electromagnetic intelligence. The code is available at: https://github.com/GabrielleTse/EMind.

Ссылки и действия