📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
📄 Adaptive generative moment matching networks for improved learning of dependence structures
2025-09-02Авторы:
Marius Hofert, Gan Yao
## Контекст
Генерируемые модели моментов (Generative Moment Matching Networks, GMMNs) широко применяются в области искусственного интеллекта для решения задач, подразумевающих учет зависимостей в данных. Однако существуют проблемы с устойчивостью и эффективностью обучения в этих моделях, особенно при работе с высокомерновыми зависимостями. Недостаток универсальных методов выбора параметров обучения приводит к неоптимальному обучению и снижению качества моделей. Необходимы новые подходы, позволяющие улучшить обучение GMMNs и увеличить их точность, особенно при работе с высокомерновыми зависимостями в сложных данных.
## Метод
Предложен адаптивный процесс выбора банераных ядер (bandwidth selection procedure) для смесевого ядра в максимальной дискретизированной метрике различия (Maximum Mean Discrepancy, MMD), применяемой в GMMNs. Эта процедура стремится повысить точность и устойчивость обучения. Банераное ядро с подбираемым банером увеличивается во время обучения на основе относительного ошибки как для обучающихся, так и для проверочных потерь. Эта стратегия позволяет адаптироваться к изменениям данных и уменьшить вероятность переобучения. Кроме того, используется ансамбль ядер для повышения точности. Метод также включает в себя раннюю остановку на основе относительной ошибки проверочных потерь, чтобы предотвратить переучение.
## Результаты
Выполнены эксперименты, показавшие значительное повышение эффективности обучения адаптивно обученных генерируемых моделей моментов (Adaptive GMMNs, AGMMNs) по сравнению с неадаптивными. Результаты подтверждаются тремя наборами данных:
1. **Копулы высоких размерностей**: Демонстрируется улучшение в обучении AGMMNs для генерации высокомерновых зависимостей.
2. **Моделирование финансовых данных**: Улучшенная модель AGMMNs показывает лучший результат при моделировании корреляции между активами в зависимости от риска.
3. **Параметрические модели**: AGMMNs избирательно превосходят классические модели, увеличивая точность и устойчивость.
## Значимость
Предложенный подход может быть применен в различных сферах прикладной математики, финансовой теории и интеллектуальных системах. Он позволяет повысить точность моделей, уменьшить время обучения и обеспечить более стабильную работу. Это предоставляет потенциал для улучшения анализа и моделирования сложных зависимостей в данных.
## Выводы
Адаптивный подход к выбору банераных ядер в AGMMNs позволяет значительно повысить точность и устойчивость обучения. Он показал выдающиеся результаты в различных приложениях, включая моделирование высокомерновых зависимостей и моделирование финансовых данных. Необходимы будущие исследования для расширения этого подхода к другим моделям и задачам, а также для
Annotation:
An adaptive bandwidth selection procedure for the mixture kernel in the
maximum mean discrepancy (MMD) for fitting generative moment matching networks
(GMMNs) is introduced, and its ability to improve the learning of copula random
number generators is demonstrated. Based on the relative error of the training
loss, the number of kernels is increased during training; additionally, the
relative error of the validation loss is used as an early stopping criterion.
While training time of such adaptive...