Unbiased Stochastic Optimization for Gaussian Processes on Finite Dimensional RKHS

## Контекст Оптимизация параметров ядер шумавых подборов (Gaussian Processes, GP) является ключевым аспектом их применения в машинном обучении и статистическом анализе. Одной из проблем является то, что многие методы обучения шумовых подборов, основанные на градиентном спуске, используют аппроксимации, отвлекающие от точного решения. Например, использование указателей указателей в стохастической вариационной инференции приводит к биазу и может ограничивать устойчивость решения. Это может привести к отклонению от стационарных точек стоимости логарифма-маргинальной вероятности. Мотивация для этого исследования лежит в необходимости развития методов, которые обеспечивают более точное и надежное обучение шумовых подборов. ## Метод Предлагаемый подход строится на идее точного стохастического вывода гауссовских процессов с использованием ядер, которые определяют репродуцируемое крестовое пространство Хильберта (RKHS) с конечной размерностью. Для этих ядер вводится метод, который позволяет проводить стохастическую инференцию с полной точностью. Для бесконечных RKHS, в то время как точность уменьшается, метод все еще достигает улучшенных результатов в сравнении с существующими аппроксимирующими методами. Для реализации, архитектура основывается на эффективном использовании хэш-функций для генерации случайных выборок, которые эффективно оценивают градиенты логарифма-маргинальной вероятности. ## Результаты Эксперименты показали, что подход позволяет достигать более высокого уровня точности и устойчивости по сравнению со существующими методами стохастического оптимизационного подхода. Это продемонстрировано на наборах данных из различных областей применения, включая регрессию и классификацию. Особенно заметны выигрыши в ситуациях, когда ресурсы памяти ограничены, что приводит к ограниченному размеру батча или количеству указателей указателей в существующих методах. ## Значимость Предложенный подход имеет значительное значение для областей, где точность и устойчивость оптимизации гауссовских процессов критичны. Это включает в себя широкие приложения, такие как моделирование и предсказание в сложных системах, а также в задачах, требующих доверительных прогнозов. Преимущества включают более точное определение шумовых подборов, чем указательные методы в стохастической вариационной инференции. Будущие исследования могут сфокусироваться на расширении этого подхода к более сложным моделям и приложениям, где необходима высокая точность оптимизации. ## Выводы В данной статье был п