MTS-DMAE: Dual-Masked Autoencoder for Unsupervised Multivariate Time Series Representation Learning
2509.16078v1
cs.LG, cs.CV
2025-09-23
Авторы:
Yi Xu, Yitian Zhang, Yun Fu
Резюме на русском
Извлечение качественных представлений неорганизованных многомерных потоков временных рядов (MTS) — важная проблема в AI, так как от нее зависит эффективность решения различных задач в последующих этапах. Однако существующие подходы часто требуют больших объемов меток или недостаточно учитывают характер взаимосвязи временных рядов. В статье предлагается Dual-Masked Autoencoder (DMAE) — новый метод для неучитывающего тегов обучения, основанный на автокодировщике. DMAE вводит две симметричные задачи: восстановление пропущенных значений с использованием видимых данных и предсказание пропущенных признаков с помощью «учителя». Дополнительно, введена ограничение, призванное выравнивать представления в пространстве признаков. Тесты показали, что DMAE выдает лучшие результаты по сравнению с современными методами в задачах классификации, регрессии и прогнозирования значений. Это демонстрирует эффективность нового подхода в извлечении содержательных и главных представлений MTS.
Abstract
Unsupervised multivariate time series (MTS) representation learning aims to
extract compact and informative representations from raw sequences without
relying on labels, enabling efficient transfer to diverse downstream tasks. In
this paper, we propose Dual-Masked Autoencoder (DMAE), a novel masked
time-series modeling framework for unsupervised MTS representation learning.
DMAE formulates two complementary pretext tasks: (1) reconstructing masked
values based on visible attributes, and (2) estimating latent representations
of masked features, guided by a teacher encoder. To further improve
representation quality, we introduce a feature-level alignment constraint that
encourages the predicted latent representations to align with the teacher's
outputs. By jointly optimizing these objectives, DMAE learns temporally
coherent and semantically rich representations. Comprehensive evaluations
across classification, regression, and forecasting tasks demonstrate that our
approach achieves consistent and superior performance over competitive
baselines.
Ссылки и действия
Дополнительные ресурсы: