Dynamic Uncertainty-aware Multimodal Fusion for Outdoor Health Monitoring
2508.09085v1
cs.NI, cs.AI, cs.LG
2025-08-14
Авторы:
Zihan Fang, Zheng Lin, Senkang Hu, Yihang Tao, Yiqin Deng, Xianhao Chen, Yuguang Fang
Резюме на русском
#### Контекст
Отслеживание здоровья вне заменителя (outdoor health monitoring) является критическим для раннего выявления нестабильного состояния здоровья, обеспечивая защиту человеческого здоровья и безопасности. Стандартные подходы к этой задаче основываются на статичных многомодальных рамках с нейронными сетями, требующих огромных объемов данных для обучения. Такой подход не может эффективно учитывать незначительные изменения в состоянии здоровья. Многомодальные модели языка (MLLMs) представляют собой альтернативу, позволяющую тренировать модели на мелких объемах данных, основываясь на предварительно обученных моделях. Однако многомодальные модели для outdoor health monitoring сталкиваются с трудностями: i) входные данные могут содержать шум из-за сбора данных и ненадежности физиологических сигналов при изменении экстерьера; ii) существующие трансформер-модели сталкиваются с проблемами в достижении крепкой мультимодальной интеграции, не способные обрабатывать шумные модальности; iii) различия в шумах модальностей вредят точности восстановления пропущенных данных. Для решения этих проблем предлагается разработка DUAL-Health — динамической неуверенность-акцентированной мультимодальной интеграции.
#### Метод
Для оценки шума в модальностях разработана методика, которая вычисляет значения неопределенности с помощью текущих и хронологических признаков. Для эффективной мультимодальной интеграции применена технология весовой настройки, которая адаптируется к качеству модальностей. Для совершенствования восстановления данных в случае шумов используется метод выравнивания распределений модальностей в едином семантическом пространстве. Эти шаги обеспечивают высокую точность в детекции и устойчивость модели в трудных условиях.
#### Результаты
Для исследований использованы данные, содержащие шумовые модальности в различных условиях. Модель DUAL-Health сравнивалась с современными базовыми моделями. Результаты показали, что DUAL-Health превосходит все остальные модели в точности детекции и устойчивости в шумных условиях. Это доказывает эффективность нового подхода в решении проблем мультимодальной обработки данных в outdoor health monitoring.
#### Значимость
Модель DUAL-Health предлагается для динамических сценариев outdoor health monitoring, в том числе для раннего выявления заболеваний, мониторинга индивидуальных показателей здоровья и создания безопасных систем мониторинга внешних условий. Ее преимущества заключаются в том, что она требует меньших объемов данных для обучения, эффективно обрабатывает шумы и восстанавливает пропущенные данные. Эта модель может стать ключевым инструментом для глубокого мониторинга здоровья вне заменителя.
#### Вы
Abstract
Outdoor health monitoring is essential to detect early abnormal health status
for safeguarding human health and safety. Conventional outdoor monitoring
relies on static multimodal deep learning frameworks, which requires extensive
data training from scratch and fails to capture subtle health status changes.
Multimodal large language models (MLLMs) emerge as a promising alternative,
utilizing only small datasets to fine-tune pre-trained information-rich models
for enabling powerful health status monitoring. Unfortunately, MLLM-based
outdoor health monitoring also faces significant challenges: I) sensor data
contains input noise stemming from sensor data acquisition and fluctuation
noise caused by sudden changes in physiological signals due to dynamic outdoor
environments, thus degrading the training performance; ii) current transformer
based MLLMs struggle to achieve robust multimodal fusion, as they lack a design
for fusing the noisy modality; iii) modalities with varying noise levels hinder
accurate recovery of missing data from fluctuating distributions. To combat
these challenges, we propose an uncertainty-aware multimodal fusion framework,
named DUAL-Health, for outdoor health monitoring in dynamic and noisy
environments. First, to assess the impact of noise, we accurately quantify
modality uncertainty caused by input and fluctuation noise with current and
temporal features. Second, to empower efficient muitimodal fusion with
low-quality modalities,we customize the fusion weight for each modality based
on quantified and calibrated uncertainty. Third, to enhance data recovery from
fluctuating noisy modalities, we align modality distributions within a common
semantic space. Extensive experiments demonstrate that our DUAL-Health
outperforms state-of-the-art baselines in detection accuracy and robustness.
Ссылки и действия
Дополнительные ресурсы: