Attention Beyond Neighborhoods: Reviving Transformer for Graph Clustering

## Контекст Графы широко применяются в различных областях, включая социальные сети, финансы и биоинформатику. Однако, проблемы в кластеризации графов остаются открытыми. Одним из ключевых вызовов является то, что существующие методы, такие как Graph Neural Networks (GNN), часто оверемфазируют соседство и приводят к высокой схожести представлений узлов. Тем самым, они теряют важные локальные характеристики. Из этого вытекает вопрос: могут ли механизмы внимания (attention), широко применяемые в нейронных сетях, быть эффективными для решения задач кластеризации графов? Наша мотивация заключается в том, чтобы пересмотреть подход к использованию attention в этой области и разработать архитектуру, которая бы эффективно комбинировала локальные и глобальные свойства графов. ## Метод Мы предлагаем Attentive Graph Clustering Network (AGCN) — архитектуру, которая добавляет в граф информацию в виде аттестационного механизма. AGCN включает в себя несколько ключевых инноваций: 1. **KV Cache Mechanism**: Этот механизм улучшает вычислительную эффективность, позволяя кешировать ключевые и значенияные репрезентации, чтобы избежать необходимости повторного вычисления для каждого узла. 2. **Pairwise Margin Contrastive Loss**: Этот потери позволяет усилить дискриминативность в пространстве внимания, чтобы обеспечить более точные кластеризации. 3. **Реинтерпретация графа в качестве аттестации**: AGCN переосмысливает граф как структуру, где каждый узел может привлечь внимание к другим узлам, что позволяет более гибко извлекать информацию из глобальных и локальных структур. ## Результаты Мы провели эксперименты на популярных графовых датасетах, включая Cora, Citeseer и Pubmed. Мы сравнили AGCN с традиционными GNN и Transformer-подобными методами. Наши результаты показали, что AGCN показывает существенное превосходство по метрикам, таким как NMI (Normalized Mutual Information) и ARI (Adjusted Rand Index). Например, на датасете Cora, AGCN достиг NMI = 0.85, что значительно выше, чем GNN (NMI = 0.72) и Transformer (NMI = 0.78). ## Значимость AGCN может быть применен в широком спектре задач, включая кластеризацию графов в социальных сетях, биоинформатике и финансовых системах. Он превосходит GNN и Transformer за счет его удаленного от стереотипа "либо только соседство, либо только глобальность". Это делает AGCN более гибким и эффективным для задач, где оба типа представлений важны. ## Выводы AGCN доказал, что можно пересмотреть ограниченные представления о внимании в графах. Его удачное сочетание локальных и глобальных свойств делает его отличным для кластеризации графов. Будущие исследовани