Adaptive generative moment matching networks for improved learning of dependence structures

## Контекст Генерируемые модели моментов (Generative Moment Matching Networks, GMMNs) широко применяются в области искусственного интеллекта для решения задач, подразумевающих учет зависимостей в данных. Однако существуют проблемы с устойчивостью и эффективностью обучения в этих моделях, особенно при работе с высокомерновыми зависимостями. Недостаток универсальных методов выбора параметров обучения приводит к неоптимальному обучению и снижению качества моделей. Необходимы новые подходы, позволяющие улучшить обучение GMMNs и увеличить их точность, особенно при работе с высокомерновыми зависимостями в сложных данных. ## Метод Предложен адаптивный процесс выбора банераных ядер (bandwidth selection procedure) для смесевого ядра в максимальной дискретизированной метрике различия (Maximum Mean Discrepancy, MMD), применяемой в GMMNs. Эта процедура стремится повысить точность и устойчивость обучения. Банераное ядро с подбираемым банером увеличивается во время обучения на основе относительного ошибки как для обучающихся, так и для проверочных потерь. Эта стратегия позволяет адаптироваться к изменениям данных и уменьшить вероятность переобучения. Кроме того, используется ансамбль ядер для повышения точности. Метод также включает в себя раннюю остановку на основе относительной ошибки проверочных потерь, чтобы предотвратить переучение. ## Результаты Выполнены эксперименты, показавшие значительное повышение эффективности обучения адаптивно обученных генерируемых моделей моментов (Adaptive GMMNs, AGMMNs) по сравнению с неадаптивными. Результаты подтверждаются тремя наборами данных: 1. **Копулы высоких размерностей**: Демонстрируется улучшение в обучении AGMMNs для генерации высокомерновых зависимостей. 2. **Моделирование финансовых данных**: Улучшенная модель AGMMNs показывает лучший результат при моделировании корреляции между активами в зависимости от риска. 3. **Параметрические модели**: AGMMNs избирательно превосходят классические модели, увеличивая точность и устойчивость. ## Значимость Предложенный подход может быть применен в различных сферах прикладной математики, финансовой теории и интеллектуальных системах. Он позволяет повысить точность моделей, уменьшить время обучения и обеспечить более стабильную работу. Это предоставляет потенциал для улучшения анализа и моделирования сложных зависимостей в данных. ## Выводы Адаптивный подход к выбору банераных ядер в AGMMNs позволяет значительно повысить точность и устойчивость обучения. Он показал выдающиеся результаты в различных приложениях, включая моделирование высокомерновых зависимостей и моделирование финансовых данных. Необходимы будущие исследования для расширения этого подхода к другим моделям и задачам, а также для