Toric geometry of ReLU neural networks
2509.05894v1
math.AG, cs.LG, stat.ML
2025-09-12
Авторы:
Yaoying Fu
Резюме на русском
## Контекст
Топологические свойства нейронных сетей релаксационных функций (ReLU) широко исследованы в области машинного обучения и глубокого обучения. Одной из ключевых задач является определение возможности реализации конкретной функции с заданной архитектурой нейронной сети. Однако этот вопрос часто остается открытым, особенно в случае нейросетей с постоянными весами. Для решения этой проблемы, теоретические исследования предприняты в сфере топологической и геометрической моделирования реал-типа функций, которые могут быть реализованы с помощью нейронных сетей ReLU. Одним из таких подходов является применение топологической геометрии, в частности, торической геометрии, для изучения структуры и свойств ReLU нейронных сетей.
## Метод
Методология основывается на установлении связи между торической геометрией и нейронными сетями ReLU. Автор рассматривает нейронную сеть с нейтральными весами и рациональными весами. Определяется понятие "реал-торического фана", "реал-торического пространства" и "реал-торического дивизора", связанных с данной нейронной сетью. Алгоритм основывается на расчетах топологических характеристик этих объектов, которые позволяют определить возможность реализации функций с помощью данной архитектуры. Также рассматривается связь между торической и тропической геометрией в контексте ReLU нейронных сетей.
## Результаты
Используя разработанный метод, автор получает критерий реализации функций с помощью нейронных сетей ReLU с одним скрытым слоем. Для этого проводятся расчеты топологических характеристик, в том числе контрольных точек и интересующих критериев. Эти расчеты позволяют определить, какие функции могут быть реализованы с помощью данной нейронной сети. Также показывается, как развитая топологическая модель позволяет изучать связи между различными типами реал-функций и их представлением в терминах торической геометрии.
## Значимость
Разработанный подход имеет значительное теоретическое и практическое значение. Он может быть применен для развития методов анализа и моделирования нейронных сетей, включая изучение свойств и ограничений реализации функций. Также, полученные результаты могут быть использованы в области глубокого обучения для улучшения алгоритмов реализации функций, а также для развития теоретических моделей, позволяющих оценивать реал-функции и их реализацию с помощью ReLU нейронных сетей.
## Выводы
В ходе работы установлены теоретические основы для проверки возможности реализации функций с помощью нейронных сетей
Abstract
Given a continuous finitely piecewise linear function $f:\mathbb{R}^{n_0} \to
\mathbb{R}$ and a fixed architecture $(n_0,\ldots,n_k;1)$ of feedforward ReLU
neural networks, the exact function realization problem is to determine when
some network with the given architecture realizes $f$. To develop a systematic
way to answer these questions, we establish a connection between toric geometry
and ReLU neural networks. This approach enables us to utilize numerous
structures and tools from algebraic geometry to study ReLU neural networks.
Starting with an unbiased ReLU neural network with rational weights, we define
the ReLU fan, the ReLU toric variety, and the ReLU Cartier divisor associated
with the network. This work also reveals the connection between the tropical
geometry and the toric geometry of ReLU neural networks. As an application of
the toric geometry framework, we prove a necessary and sufficient criterion of
functions realizable by unbiased shallow ReLU neural networks by computing
intersection numbers of the ReLU Cartier divisor and torus-invariant curves.