Graph Your Own Prompt

#### Контекст Глубокие нейронные сети достигли впечатляющих результатов в обработке и анализе изображений, текста, звука и других типов данных. Однако они часто сталкиваются с проблемой недостаточной семантической структуры в пространстве признаков. Например, они могут сопоставить не относящиеся друг к другу объекты, такие как "кошка" и "собака", в одном пространстве признаков, что приводит к нежелательным пересечениям между классами. Эта проблема становится важной, когда сети используются в задачах, требующих высокой точности или семантической классификации. Существуют методы, направленные на улучшение семантической структуры, но они либо требуют дополнительных параметров, либо не полностью адрессируют проблему. Наша мотивация заключается в создании рамочного подхода, который бы позволял моделям максимально эффективно использовать свои собственные выводы для улучшения семантической структуры внутреннего пространства признаков. #### Метод Мы предлагаем **Graph Consistency Regularization (GCR)**, новую фреймворк, который введет графовые структуры, полученные из выводов модели, в процесс обучения. Этот подход добавляет новый тип самопробуждения, позволяя модели очищать и повышать качество своих внутренних представлений. GCR работает путем создания **Graph Consistency Layers (GCL)** на разных уровнях сети. Эти слои строят графы семантических связей на основе выходов модели для каждого батча и выравнивают их с класс-ориентированным графом, построенным на основе классовых предсказаний. Это выравнивание гарантирует, что семантические отношения на уровне признаков отражают классовую консистентность. Чтобы улучшить эффективность, GCR включает в себя адаптивный механизм взвешивания для учитывания вклада каждого уровня в структуру. Таким образом, сеть может приоритетизировать надежные уровни представлений, отфильтровывая шумные слои. GCR является модельно-независимым, легковесным и может быть легко интегрирован в любую нейронную сеть. #### Результаты Мы проверили GCR на нескольких задачах классификации изображений, включая CIFAR-10, CIFAR-100 и ImageNet. Мы использовали различные модели, такие как ResNet и ViT, и сравнили результаты с традиционными методами. Результаты показали, что GCR улучшает семантическую структуру внутреннего пространства признаков, увеличивая коэффициент Джини и уменьшая значения intra-class distance. Эти улучшения приводят к значительному повышению качества и устойчивости прогнозов. Кроме того, мы провели эксперименты на задачах, требующих высокой семантической точности, и показали, что GCR позволяет модели лучше различать сложные классы, на