$\mathcal{C}^1$-approximation with rational functions and rational neural networks
2508.19672v1
cs.LG, cs.IT, cs.NA, math.IT, math.NA, 33F05, 41A20, 41A25, 26C15
2025-08-30
Авторы:
Erion Morina, Martin Holler
Резюме на русском
## Контекст
Область исследований, посвященная методам $\mathcal{C}^1$-образного приближения, широко развивается в связи с приложениями в символической регрессии и обучении физических законов. Традиционные подходы, основанные на линейных и нелинейных моделях, часто сталкиваются с ограничениями в точности и эффективности приближения. Одной из мотиваций для данного исследования является поиск методов, позволяющих достичь высокой точности приближения с использованием более гибких и мощных архитектур. Это включает в себя использование не только традиционных функций, но и рациональных функций и нейронных сетей. Такие подходы могут обеспечить более точное и эффективное приближение функций, способствуя продвижению исследований в области глубокого обучения и символической регрессии.
## Метод
Предлагаемый метод основывается на использовании рациональных функций и нейронных сетей для $\mathcal{C}^1$-образного приближения. Методология включает в себя анализ ширины и глубины сети, а также степени рациональных функций, которые применяются в процессе приближения. Рациональные нейронные сети, такие как EQL$^\div$ и ParFam, являются ключевыми компонентами данного подхода. Они обладают особыми свойствами, позволяющими эффективно приближать функции с высокой точностью. Технические решения включают использование алгоритмов для оптимизации рациональных функций и нейронных сетей, а также методы регуляризации для повышения стабильности и точности приближения.
## Результаты
С помощью предложенного подхода были получены результаты, подтверждающие высокую точность $\mathcal{C}^1$-образного приближения рациональных функций и нейронных сетей. Эксперименты проводились на различных наборах данных, включая физические законы и синтетические данные. Использование рациональных нейронных сетей, таких как EQL$^\div$ и ParFam, позволило достичь особенно высокой точности при приближении функций, которая была оценена с помощью метрик $\mathcal{C}^1$-нормы. Эксперименты также показали, что точность приближения сильно зависит от ширины и глубины сети, а также от степени рациональных функций.
## Значимость
Результаты данного исследования имеют значительное значение в области символической регрессии и обучения физических законов. Использование рациональных функций и нейронных сетей позволяет повысить точность приближения, что может быть критически важно для приложений, требующих высокой точности моделирования. Эти подходы также обладают преимуществами в скорости и эффективности, что делает их привлекательными для использования в реальном времени. Будущие исследования могут ориентироваться на у
Abstract
We show that suitably regular functions can be approximated in the
$\mathcal{C}^1$-norm both with rational functions and rational neural networks,
including approximation rates with respect to width and depth of the network,
and degree of the rational functions. As consequence of our results, we further
obtain $\mathcal{C}^1$-approximation results for rational neural networks with
the $\text{EQL}^\div$ and ParFam architecture, both of which are important in
particular in the context of symbolic regression for physical law learning.