Why does your graph neural network fail on some graphs? Insights from exact generalisation error

#### Контекст Graph Neural Networks (GNNs) широко применяются в области обучения на данных с графовой структурой. Тем не менее, причины, по которым GNNs могут успешно обобщаться на неизвестных данных, или, наоборот, могут провалиться, пока не ясны. Существуют работы, исследовавшие ограничения архитектурных характеристик, такие как over-smoothing и over-squashing, но они не дают полного понимания, что позволяет GNNs эффективно извлекать смысловую информацию. Эти вопросы связаны с понятием generalisation: способностью модели делать точные прогнозы на необученных данных. Несмотря на то, что некоторые работы предложили оценки generalisation error для GNNs, они часто оказываются слишком грубыми, привязаны к одной конкретной архитектуре и не дают полного видения того, что влияет на generalisation в реальных условиях. Мы предлагаем другой подход, основываясь на точном вычислении generalisation error в transductive fixed-design среде с использованием принципов signal processing. #### Метод Мы рассматриваем GNNs как graph filter operators, которые применяются к фичевым данным нод с помощью структуры графа. Мы фокусируемся на линейных GNNs, при этом допускаем нелинейность в графических фильтрах. Это позволяет нам определить точную формулу generalisation error для широкого класса GNNs, включая convolutional, PageRank-based и attention-based модели. Мы показываем, что только информация, которая тесно связана с графовой структурой и фичами, вкладывается в generalisation. Мы также изучаем влияние homophily (схожести нод) на generalisation. Наш подход даёт фреймворм для понимания, почему GNNs могут эффективно использовать структурную и фичевую информацию, и подсказывает, когда и почему они могут провалиться. #### Результаты Мы проводили эксперименты на различных графах, включая задачи link prediction и node classification. Использовавшимися данными были фичавыражения нод, а также структура графа. Мы сравнивали результаты наших вычислений generalisation error с реальными результатами моделей GNNs. Результаты показали, что наша теоретическая модель точно предсказывает, какие модели и на каких графах будут работать лучше. Мы также проанализировали влияние параметров, таких как homophily, на generalisation. Наши результаты подтверждают, что только аллигационная информация (информация, которая тесно связана с графовой структурой) влияет на generalisation, что отклоняет влияние других факторов. #### Значимость Наше исследование имеет значимые последствия для области обучения на графах. Мы предоставляем новую точку зрения на то, как GNNs обучаются и почему они могут провалиться. Наши результаты имеют практическое значение для model selection и optimisation GNN-based architectures. Мы также показали, что homophily важно для generalisation, что может помочь в адаптации моделей к различным типам графов