Generalize across Homophily and Heterophily: Hybrid Spectral Graph Pre-Training and Prompt Tuning

## Контекст Графовые модели становятся все более важными для решения проблем в различных областях, таких как социальные сети, биоинформатика и финансы. Однако, многие существующие модели ориентированы на обработку графов с высоким уровнем гомофилии (то есть, сильными взаимосвязями между соседними вершинами с одинаковыми признаками). Это делает их менее эффективными для решения задач на графах с низким уровнем гомофилии или даже с гетерофилией (сильными взаимосвязями между вершинами с разными признаками). Такие ситуации часто встречаются в реальном мире, например, в сетях социальных контактов, где люди могут иметь разные интересы и принадлежать разным сообществам. Недостаток в обработке таких графов с гетерофилией приводит к ограниченной моделированию и предсказанию. Мотивация заключается в том, чтобы разработать модель, которая могла бы одновременно справиться с гомофилией и гетерофилией, обеспечивая более значимые знания и более точные предсказания. ## Метод Мы предлагаем HS-GPPT (Hybrid Spectral Graph Pre-Training and Prompt Tuning), новую архитектуру, которая объединяет принципы широко известных моделей **pre-training** и **prompt-tuning** для улучшения предсказаний на графах. Наша модель использует гибридный спектральный фильтр для формирования основы, что позволяет получить богатый спектральный объем. Мы также используем **локально-глобальный контрастный обучение**, чтобы улучшить модель и выделить важные функции. Для улучшения предсказаний в условиях ограниченного наблюдения, мы разрабатываем **промпты-графы**, которые позволяют лучше выразить задачи и подготовить графы к успешному предсказанию. В своей работе мы также используем **теоретический анализ**, показывающий, как оптимальное предсказание зависит от того, насколько хорошо спектральная фильтрация соответствует интринсической спектральной структуре графа. ## Результаты Мы проводили первые эксперименты на нескольких задачах, включая классификацию вершин и регрессию в графах. Мы использовали **Cora**, **Citeseer** и другие реальные данные, чтобы проверить эффективность нашей модели. Наши результаты показали, что HS-GPPT не только существенно улучшает точность предсказания по сравнению с базовыми моделями, но и показывает хорошую устойчивость в различных условиях, в том числе с графами с высоким уровнем гомофилии, низким уровнем гомофилии и гетерофилией. Эксперименты подтвердили, что наша модель может лучше адаптироваться к различным типам графов за счет точного спектрального знания и метода промпто-тюнинга. ## Значимость HS-GPPT мо