Domain Generalization in-the-Wild: Disentangling Classification from Domain-Aware Representations

## Контекст Научное исследование "Domain Generalization in-the-Wild: Disentangling Classification from Domain-Aware Representations" основывается на области domain generalization (DG), которая направлена на обеспечение устойчивости моделей к различным доменам данных. Особенно важно это для фундаментальных моделей, таких как CLIP, которые обучаются на огромных корпусах web-scale данных. Известно, что существующие DG-benchmarks могут быть недостаточно вызовом для моделей, так как CLIP уже может быть "предварительно ознакомлен" с большим объемом данных из этих бенчмарков. Это приводит к снижению значимости стандартных оценок DG. Исследование рассматривает новые подходы для более тщательной оценки DG в "природных условиях", где модель предоставляется чуждому доменному данным. ## Метод Проведены два основных эксперимента. В первом, CLIP был приспособлен для ImageNet, после чего протестирован на 33 различных OOD-данных с измерением уровня OOD-изъява. Во втором эксперименте, восстановление памяти (unlearning) использовалось для "забывания" CLIP некоторых доменов, что эмулировало набор данных, незнакомых модели. Архитектура CLIP-DCA (Disentangling Classification from enhanced domain Aware representations) заключается в создании отдельного "доменного модуля" для усиления доменной окружающей среды и улучшения обобщаемости. CLIP-DCA также применяет стратегию disentanglement для разделения нейронов модели на классификационные и доменные особенности. ## Результаты Эксперименты показали, что CLIP испытывает значительные снижения в производительности при работе с OOD-данными после того, как был приспособлен к ImageNet. Обнаружено, что CLIP-DCA не только оказывает значительное улучшение в сравнении с другими подходами, но и показывает выдающиеся результаты на OOD-данных. Это свидетельствует о том, что усиление доменной связанности может быть ключом к эффективной domain generalization, даже в сложных сценариях. ## Значимость Полученные результаты имеют большое значение для области deep learning и computer vision. Ключевым преимуществом является возможность улучшения моделей для использования в реальных условиях, где данные могут отличаться от обучающего набора. Эти разработки могут найти применение в области глубокого обучения для таких задач, как распознавание объектов, текстово-изображательный поиск и рекомендательные системы. Будущие исследования могут рассматривать расширение CLIP-DCA на другие модели, а также рассмотреть потенциал применения этих подходов в других областях, таких как робототехника и здравоохранение. ## Выводы Основным достижением является показательное улучшение производительности CLIP в DG-сценариях с помощью CLIP-DCA. Этот подход не только улучшает гибкость модели, но и подчеркивает значение доменной окружающей среды в обеспечении устойчивости моделей. Направления будущих исследова