Learning from one graph: transductive learning guarantees via the geometry of small random worlds
2509.06894v1
stat.ML, cs.LG, math.MG, math.PR, math.ST, stat.TH
2025-09-10
Авторы:
Nils Detering, Luca Galimberti, Anastasis Kratsios, Giulia Livieri, A. Martina Neuman
Резюме на русском
## Контекст
Одним из основных применений графовых нейронных сетей является трансдуктивное классификационное решение, при котором отсутствующие метки выводятся из текущего наблюдаемого графа и его матрицы признаков. Несмотря на широкое использование такого подхода, основные статистические фундаменты трансдуктивной классификации остаются недостаточно сильно развиты. Это обусловлено тем, что стандартные модели инференса обычно основываются на множестве независимых выборок, а не на работе с отдельным графом. Данная работа нацелена на устранение этих проблем, используя новые инструменты концентрации меры, которые используют геометрические регулярности больших графов, основываясь на низкоразмерных метрических эмбеддингах. Моделируемая регулярность опирается на графовую модель, однако применение методов возможно и для определенных установившихся графов.
## Метод
Методология, развитая в работе, основывается на развитии новых инструментов кванторной статистики, которые используют геометрические регулярности больших графов. Эти регулярности характеризуются с помощью низкоразмерных метрических эмбеддингов. Модели графов, используемые в работе, опираются на графовую модель, однако их применение возможно и для детерминированных графов, полученных при некоторой наблюдаемой реализации. Далее, авторы расширяют методологию на случай графовых нейронных сетей, решая дополнительные вызовы, связанные с учетом архитектуры сетей.
## Результаты
В результате работы авторы получили два основных теоретических результата. Один из них касается произвольных $k$-вершинных графов, а другой сосредотачивается на случайных графах, делящихся с основными геометрическими свойствами графа Эрдёса-Реньи в режиме $p \in \mathcal{O}((\log (k)/k)^{1/2})$. Первый результат стал основой для доказательства второго. Далее авторы расширяют свои теоретические открытия на случай графовых нейронных сетей, решая дополнительные проблемы, связанные с их архитектурой. Наконец, гарантии обучения остаются в значительной степени информативными даже при небольшом числе отмеченных вершин $N$, достигнув оптимальной скорости непараметрического обучения $\mathcal{O}(N^{-1/2})$ при увеличении $N$.
## Значимость
Результаты работы широко могут применяться в различных областях, где применяются графовые методы, таких как социальные сети, биология, технические системы и др. Основным преимуществом нового подхода является его универсальность и пригодность для различных типов графов, в том числе и недетерминированных. Это
Abstract
Since their introduction by Kipf and Welling in $2017$, a primary use of
graph convolutional networks is transductive node classification, where missing
labels are inferred within a single observed graph and its feature matrix.
Despite the widespread use of the network model, the statistical foundations of
transductive learning remain limited, as standard inference frameworks
typically rely on multiple independent samples rather than a single graph. In
this work, we address these gaps by developing new concentration-of-measure
tools that leverage the geometric regularities of large graphs via
low-dimensional metric embeddings. The emergent regularities are captured using
a random graph model; however, the methods remain applicable to deterministic
graphs once observed. We establish two principal learning results. The first
concerns arbitrary deterministic $k$-vertex graphs, and the second addresses
random graphs that share key geometric properties with an Erd\H{o}s-R\'{e}nyi
graph $\mathbf{G}=\mathbf{G}(k,p)$ in the regime $p \in \mathcal{O}((\log
(k)/k)^{1/2})$. The first result serves as the basis for and illuminates the
second. We then extend these results to the graph convolutional network
setting, where additional challenges arise. Lastly, our learning guarantees
remain informative even with a few labelled nodes $N$ and achieve the optimal
nonparametric rate $\mathcal{O}(N^{-1/2})$ as $N$ grows.