Understanding and Tackling Over-Dilution in Graph Neural Networks

## Контекст В графовых нейронных сетях (GNNs) возникают проблемы, такие как over-smoothing и over-squashing, которые характеризуются потерей точности и информативности представлений графов. Эти проблемы связаны с нелинейными особенностями информационного процесса в GNNs, которые влияют на эффективность обучения. Одна из самых серьезных проблем, которая часто упускается, — это over-dilution, которая проявляется в потере информации на уровне отдельных узлов в процессе передачи сообщений. Это происходит даже в случае одного слоя, где распространение сообщений из других узлов может подавить характеристики локального узла. Этот эффект требует глубокого изучения для создания более развитых методов GNN. ## Метод Мы предлагаем подробный анализ over-dilution в MPNNs, опираясь на двухфакторный подход: intra-node dilution для представления вершины на уровне атрибутов и inter-node dilution для представления вершины в контексте всего графа. Для того чтобы снять это ограничение, мы предлагаем инновационную парадигму, основанную на трансформерах, которая уменьшает эффект over-dilution, оптимизируя локальные и глобальные взаимосвязи в графе. Это решение интегрируется с существующими методами GNN, улучшая их качество и широту представления вершин. Мы также предлагаем многослойный подход для точного управления локальным и глобальным взаимодействием данных. ## Результаты Мы провели эксперименты на нескольких стандартных графовых наборах данных, включая Cora, Citeseer и Pubmed. Наши результаты показывают, что наше решение существенно повышает точность, сокращая проблему over-dilution в MPNNs. Мы также произвели сравнительный анализ с другими методами, такими как GCN и GAT, и показали, что наш подход дает значительные показатели по метрикам accuracy и F1-score. Данные эксперименты подтвердили, что наш трансформер-ориентированный подход значительно повышает качество представления узлов, снижая ограничения, связанные с over-dilution. ## Значимость Наш подход может быть применен в различных областях, где используются графы, таких как рекомендательные системы, моделирование сетей, биоинформатика и финансы. Over-dilution является одной из ключевых проблем в машинном обучении на графах, и наше решение может улучшить качество представления узлов в различных GNN-моделях. Это не только повышает точность, но и позволяет моделям более эффективно использовать информацию на графе, обеспечивая более точные и информативные представления. ## Выводы Мы установили, что over-dilution является критически важной проблемой в MPNNs, которая требует более глубокого изучения. Наш трансформер-ориентированный подход снимает это огра