Deep Intrinsic Coregionalization Multi-Output Gaussian Process Surrogate with Active Learning
2508.16434v1
stat.ML, cs.LG
2025-08-26
Авторы:
Chun-Yi Chang, Chih-Li Sung
Резюме на русском
## Контекст
Глубокие гауссовские процессы (Deep Gaussian Processes, DGPs) являются мощными суррогатными моделями, широко используемыми для аппроксимации сложных функций. Однако их расширение на многовыходные задачи представляет собой серьезную проблему, ввиду необходимости эффективного моделирования зависимостей между выходами. Это ограничение особенно актуально для компьютерных симуляций, где несколько зависимых выходов требуют точного и адекватного описания. Большая часть существующих решений, таких как Intrinsic Coregionalization Model (ICM), сталкивается с ограниченностью в моделировании нелинейных и сложных зависимостей. Это мотивирует развитие более гибкой модели, которая могла бы эффективно обрабатывать такие задачи.
## Метод
Мы предлагаем Deep Intrinsic Coregionalization Multi-Output Gaussian Process (deepICMGP), продвинутый суррогатный модель для многовыходных задач. Он расширяет ICM, вводивщий новый сложный структурный подход к корегрессионной корреляции. Это добавляет возможность эффективно моделировать нелинейные зависимости между выходами, которые не могут быть отслежены обычными методами. Технически, deepICMGP использует нейросетевые архитектуры для точного вычисления функциональных зависимостей. Мы также интегрируем активное обучение в deepICMGP, что позволяет оптимизировать выбор информативных точек для последовательных дизайнных экспериментов, улучшая эффективность для систем с несколькими выходами.
## Результаты
Для определения эффективности deepICMGP проводились полноценные эксперименты на сложных симуляционных задачах. Мы сравнивали его с традиционными методами, такими как Gaussian Process Regression и Multi-Output Gaussian Processes. Результаты показали, что deepICMGP показывает значительное улучшение в моделировании сложных зависимостей, демонстрируя более точные прогнозы. Особенно заметны преимущества в задачах с большим числом выводов и нерегулярными зависимостями. Например, на задаче регрессии с несколькими выходами, данные улучшения показали, что deepICMGP превосходит альтернативы в точности и устойчивости результатов.
## Значимость
Предложенная модель deepICMGP открывает новые возможности в различных приложениях, где важно точное моделирование взаимосвязей нескольких выходов. Например, это может применяться в системах управления, аэрокосмических задачах, и химических экспериментах, где требуется многовыходная модель для оптимизации. Главное преимущество deepICMGP заключается в своей гибкости и эффективности в моделировании зависимостей, которые исключаются в других моделях. Будущие исследования будут сфокусированы на дальнейшем улучшении активного обучения и расширении deepICMGP на более сложные задачи, включая задачи с неупорядоченными выхо
Abstract
Deep Gaussian Processes (DGPs) are powerful surrogate models known for their
flexibility and ability to capture complex functions. However, extending them
to multi-output settings remains challenging due to the need for efficient
dependency modeling. We propose the Deep Intrinsic Coregionalization
Multi-Output Gaussian Process (deepICMGP) surrogate for computer simulation
experiments involving multiple outputs, which extends the Intrinsic
Coregionalization Model (ICM) by introducing hierarchical coregionalization
structures across layers. This enables deepICMGP to effectively model nonlinear
and structured dependencies between multiple outputs, addressing key
limitations of traditional multi-output GPs. We benchmark deepICMGP against
state-of-the-art models, demonstrating its competitive performance.
Furthermore, we incorporate active learning strategies into deepICMGP to
optimize sequential design tasks, enhancing its ability to efficiently select
informative input locations for multi-output systems.
Ссылки и действия
Дополнительные ресурсы: