Deep Intrinsic Coregionalization Multi-Output Gaussian Process Surrogate with Active Learning

2508.16434v1 stat.ML, cs.LG 2025-08-26
Авторы:

Chun-Yi Chang, Chih-Li Sung

Резюме на русском

## Контекст Глубокие гауссовские процессы (Deep Gaussian Processes, DGPs) являются мощными суррогатными моделями, широко используемыми для аппроксимации сложных функций. Однако их расширение на многовыходные задачи представляет собой серьезную проблему, ввиду необходимости эффективного моделирования зависимостей между выходами. Это ограничение особенно актуально для компьютерных симуляций, где несколько зависимых выходов требуют точного и адекватного описания. Большая часть существующих решений, таких как Intrinsic Coregionalization Model (ICM), сталкивается с ограниченностью в моделировании нелинейных и сложных зависимостей. Это мотивирует развитие более гибкой модели, которая могла бы эффективно обрабатывать такие задачи. ## Метод Мы предлагаем Deep Intrinsic Coregionalization Multi-Output Gaussian Process (deepICMGP), продвинутый суррогатный модель для многовыходных задач. Он расширяет ICM, вводивщий новый сложный структурный подход к корегрессионной корреляции. Это добавляет возможность эффективно моделировать нелинейные зависимости между выходами, которые не могут быть отслежены обычными методами. Технически, deepICMGP использует нейросетевые архитектуры для точного вычисления функциональных зависимостей. Мы также интегрируем активное обучение в deepICMGP, что позволяет оптимизировать выбор информативных точек для последовательных дизайнных экспериментов, улучшая эффективность для систем с несколькими выходами. ## Результаты Для определения эффективности deepICMGP проводились полноценные эксперименты на сложных симуляционных задачах. Мы сравнивали его с традиционными методами, такими как Gaussian Process Regression и Multi-Output Gaussian Processes. Результаты показали, что deepICMGP показывает значительное улучшение в моделировании сложных зависимостей, демонстрируя более точные прогнозы. Особенно заметны преимущества в задачах с большим числом выводов и нерегулярными зависимостями. Например, на задаче регрессии с несколькими выходами, данные улучшения показали, что deepICMGP превосходит альтернативы в точности и устойчивости результатов. ## Значимость Предложенная модель deepICMGP открывает новые возможности в различных приложениях, где важно точное моделирование взаимосвязей нескольких выходов. Например, это может применяться в системах управления, аэрокосмических задачах, и химических экспериментах, где требуется многовыходная модель для оптимизации. Главное преимущество deepICMGP заключается в своей гибкости и эффективности в моделировании зависимостей, которые исключаются в других моделях. Будущие исследования будут сфокусированы на дальнейшем улучшении активного обучения и расширении deepICMGP на более сложные задачи, включая задачи с неупорядоченными выхо

Abstract

Deep Gaussian Processes (DGPs) are powerful surrogate models known for their flexibility and ability to capture complex functions. However, extending them to multi-output settings remains challenging due to the need for efficient dependency modeling. We propose the Deep Intrinsic Coregionalization Multi-Output Gaussian Process (deepICMGP) surrogate for computer simulation experiments involving multiple outputs, which extends the Intrinsic Coregionalization Model (ICM) by introducing hierarchical coregionalization structures across layers. This enables deepICMGP to effectively model nonlinear and structured dependencies between multiple outputs, addressing key limitations of traditional multi-output GPs. We benchmark deepICMGP against state-of-the-art models, demonstrating its competitive performance. Furthermore, we incorporate active learning strategies into deepICMGP to optimize sequential design tasks, enhancing its ability to efficiently select informative input locations for multi-output systems.

Ссылки и действия