Over-Squashing in GNNs and Causal Inference of Rewiring Strategies

## Контекст Graph neural networks (GNNs) широко применяются в таких областях, как рекомендательные системы, проектирование материалов и репозиция лекарств. Однако message-passing GNNs сталкиваются с проблемой over-squashing — экспоненциального сжатия длинного-дистанционного информации между узлами. Эта проблема ограничивает их выразительность и эффективность. Несмотря на то, что ревьюинг (ревьютинг) техник могут уменьшить эту проблему, их эффективность и практическое влияние недостаточно изучены, в частности, из-за отсутствия точной метрики для измерения over-squashing. Мы предлагаем метод оценки over-squashing на основе декремента чувствительности между узлами, который может быть расширен на граф-уровневые статистики: распространенность, интенсивность, вариабельность и экстремальность. Целью нашей работы является оценка того, как различные методы ревьюинга влияют на over-squashing и как эти изменения отражаются на результатах классификации. ## Метод Мы предлагаем метрику, основанную на мультипликативном снижении чувствительности (Mutual Sensitivity Decay, MSI), чтобы измерить over-squashing между узлами. Эта метрика позволяет проанализировать как индивидуальные пары узлов, так и графы в целом. Для оценки over-squashing на уровне графа, мы разработали граф-уровневые метрики: prevalence, intensity, variability и extremity. Для изучения эффекта ревьюинга, мы применяем между-графовую проекцию (within-graph causal design) для измерения потенциального влияния ревьюинг-методов на классификационные данные. Мы проводим эксперименты на нескольких бенчмарках классификации графа и нод, чтобы оценить то, как различные методы ревьюинга влияют на over-squashing и на предсказательную эффективность моделей. ## Результаты Наши эксперименты показали, что большинство датасетов классификации графа страдают от over-squashing, но в разных масштабах. Мы обнаружили, что ревьюинг может существенно уменьшить over-squashing, особенно когда данные сильно страдают от этой проблемы. Однако, на node classification datasets, ревьюинг часто усиливает over-squashing, и преобразования в over-squashing не коррелируют с изменениями в производительности. Мы также обнаружили, что только тщательно примененная ревьюинг может улучшить результаты, тогда как неограниченный или чрезмерно агрессивный ревьюинг может привести к негативным результатам. Наши метрики позволяют практикам установить, плановая ли ревьюинга, и будет ли она эффективна на определенном датасете. ## Значимость Наши результаты имеют большое значение для области GNNs, поскольку они демонстрируют, что over-squashing является важной проблемой для классификации графа, но её значимость и оптимальный подход к решению зависят от конкретных датасетов и за