Gaussian Process Regression -- Neural Network Hybrid with Optimized Redundant Coordinates

## Контекст Гауссовский процесс (Gaussian Process, GP) является популярным методом для решения задач регрессии и классификации, основанного на теории вероятностей. Он представляет зависимость между переменными как гауссовское распределение, позволяя оценивать не только точные значения, но и их неопределенность. Однако, существуют проблемы, связанные с ограниченной способностью GP учитывать сложные нетривиальные зависимости, которые могут присутствовать в данных. Нейронные сети (Neural Networks, NN), наоборот, обладают высокой мощностью использования данных, но могут страдать от переобучения при недостаточном количестве обучающих примеров или избыточной моделирования. Мотивацией для разработки GPRNN-гибридного подхода служит необходимость объединить выразительную способность NN с гибкостью и надежностью GP, чтобы оптимизировать процесс обучения и получить более точные и устойчивые результаты. ## Метод GPRNN-гибрид основывается на использовании аддитивных ядер (additive kernels) GP в отношении реднидущих координат (redundant coordinates). Эти координаты, построенные по определенным правилам, позволяют представить высокомерные данные в низкомерные виды, упрощая работу модели. В этом исследовании предлагается оптимизировать эти координаты с помощью монте-карло-алгоритма (Monte Carlo algorithm). Архитектура системы включает нейросетевой слой, который обучается в сочетании с GP, чтобы улучшить точность и уменьшить вероятность переобучения. Эта архитектура рассматривается как улучшенная альтернатива глубоким нейронным сетям, когда многоуровневая модель может быть необязательной. ## Результаты Эксперименты проводились на различных задачах, таких как построение машинного обучения для интераторного потенциала и материаловедческие проблемы. Оценивались показатели качества, включая ошибку тестового набора (test set error) и степень переобучения. Результаты показали, что при использовании оптимизированных реднидущих координат (opt-GPRNN), модель достигла низкого уровня ошибок на тестовом наборе с значительно меньшим числом нейронов (или терминов) по сравнению с обычной GPRNN. Это позволило избежать переобучения при увеличении количества нейронов и улучшить производительность модели. Кроме того, оптимизация реднидущих координат позволила реализовать режим сжатия размерности данных, что делает модель еще более эффективной. ## Значимость Предлагаемый подход имеет широкие области применения, в том числе в машинном обучении, физике, химии и информатике. Наиболее выгодным является его применение там, где необходима высокая точность моделирования и низкая вероятность переобучения. Opt-GPRNN обладает потенциалом заменить глубокие нейронные с