Fréchet Geodesic Boosting
2509.18013v1
stat.ML, cs.LG, stat.ME
2025-09-24
Авторы:
Yidong Zhou, Su I Iao, Hans-Georg Müller
Резюме на русском
## Контекст
Градиентный бустинг стал одной из основных методологий в области машинного обучения, позволяя основным алгоритмам, таким как решающие деревья, достичь высокой точности прогнозирования. Однако, существующие алгоритмы оптимизируются для сценариев, когда выходные данные имеют скалярные или евклидовые характеристики. С ростом популярности моделей, работающих с нестандартными типами данных, такими как распределения, сети и многообразия, наблюдаются серьезные ограничения стандартных методов. Такие данные относятся к геодезическим метрическим пространствам и требуют отличных от традиционных подходов для оценки и моделирования. Мотивирует это исследование желание сделать бустинг эффективным для широкого круга приложений, включая нестандартные пространственные и многообразные данные.
## Метод
Мы предлагаем Fréchet Geodesic Boosting (FGBoost) — расширение алгоритма градиентного бустинга, применимое к пространствам геодезических метрик. Основной принцип заключается в использовании геодезических геометрических структур для описания геометрической структуры выходных данных. Метод строит базовые модели, которые могут принимать решения в соответствии с геометрическими особенностями пространства. Архитектура FGBoost использует геодезические расстояния в качестве оценки отклонений и применяет геометрически смешанные модели, чтобы построить расширенную модель с учетом геометрии пространства выходных данных. Этот подход позволяет эффективно обрабатывать данные в геодезических метрических пространствах.
## Результаты
Мы провели эксперименты на широком спектре данных, включая распределения, сети и многообразия. Успех FGBoost был проверен на различных симуляционных задачах, а также на реальных примерах, таких как моделирование распределений в литературной критике и моделирование структур сетевых данных в социальных сетях. Наши результаты показали, что FGBoost показывает высокую точность и может эффективно адаптироваться к высокомерновым и нестандартным пространственным данным. Эти результаты подтверждают высокую эффективность FGBoost в моделировании нестандартных пространственных данных.
## Значимость
Метод FGBoost может быть применен в различных областях, включая геометрическое моделирование, лингвистику, биологию и технические приложения. Он предлагает преимущества в том числе более точный прогнозирование для сложных пространственных данных, увеличение эффективности моделей и упрощение моделирования в сложных пространственных задачах. Это может привести к значительным улучшениям в области прогнозирования, особенно в пространственных и
Abstract
Gradient boosting has become a cornerstone of machine learning, enabling base
learners such as decision trees to achieve exceptional predictive performance.
While existing algorithms primarily handle scalar or Euclidean outputs,
increasingly prevalent complex-structured data, such as distributions,
networks, and manifold-valued outputs, present challenges for traditional
methods. Such non-Euclidean data lack algebraic structures such as addition,
subtraction, or scalar multiplication required by standard gradient boosting
frameworks. To address these challenges, we introduce Fr\'echet geodesic
boosting (FGBoost), a novel approach tailored for outputs residing in geodesic
metric spaces. FGBoost leverages geodesics as proxies for residuals and
constructs ensembles in a way that respects the intrinsic geometry of the
output space. Through theoretical analysis, extensive simulations, and
real-world applications, we demonstrate the strong performance and adaptability
of FGBoost, showcasing its potential for modeling complex data.