ViG-LRGC: Vision Graph Neural Networks with Learnable Reparameterized Graph Construction

## Контекст Изображение — один из основных объектов исследований в области компьютерного зрения. Обработка изображений традиционно производилась с использованием сверточных нейронных сетей (CNN), либо с помощью виджет-трансформеров (Vision Transformers), которые обрабатывают изображения как последовательность визуальных токенов. Новые подходы, такие как Vision Graph Neural Networks (ViG), предлагают новую точку зрения, рассматривая изображение как граф, где узлы представляют визуальные элементы, а ребра — их взаимосвязи. Это подходящая модель для задач, требующих интуитивного представления взаимосвязей. Однако существует проблема с выбором лучшей структуры графа: существующие методы требуют гиперпараметров или операций статистического выбора, которые могут привести к неэффективным или неоптимальным результатам. ## Метод Для устранения этих проблем предлагается Learnable Reparameterized Graph Construction (LRGC). Метод основывается на ключ-запрос-аттенции (key-query attention) между узлами, что позволяет оценивать взаимосвязи в графе. Далее, используется метод мягкого порога (soft-threshold reparameterization) для выбора ребер, который позволяет применять дифференцируемую математическую модель для обучения. Этот подход удаляет необходимость в гиперпараметрах, так как пороговые значения либо оптимизируются в процессе обучения, либо устанавливаются в зависимости от данных. Таким образом, LRGC обеспечивает более точное и гибко настраиваемое представление графа, избавляя модель от зависимости от предварительно заданных гиперпараметров. ## Результаты Для исследования Выделены эксперименты на ImageNet-1k — широко используемой базе данных для задач классификации изображений. Модель ViG-LRGC была сравнена с современными моделями виджет-графов. Она показала лучший результат, обеспечивая более точное представление изображений и превосходя существующие модели схожих размеров. Эта производительность указывает на эффективность предложенного метода в создании более точных и оптимальных графов для обработки изображений. ## Значимость LRGC может быть применено в различных областях компьютерного зрения, включая классификацию изображений, обнаружение объектов и сегментацию. Его главные преимущества заключаются в удалении необходимости в гиперпараметрах, увеличение точности и устойчивости модели. Данный подход позволяет значительно улучшить результаты в задачах обработки изображений, при этом сохраняя модель простую в использовании и эффективную. ## Выводы Результаты исследования показывают, что LRGC является эффективным методом для создания графов в моделях ViG. Он у