Preserving Domain Generalization in Fine-Tuning via Joint Parameter Selection

## Контекст Domain generalization является задачей развития моделей, которые могут обучаться на ограниченном количестве исходных доменов и эффективно обобщаться на неизвестных целевых доменах. Однако существующие подходы часто используют большие предварительно обученные модели в качестве инициализации, но эти модели могут лишаться их универсальных способностей во время полной оптимизации. Это снижает их общую жизнеспособность и способность обобщаться. Задача статьи — разработать метод, который способен поддерживать общую способность модели, оптимизируя только часть её параметров. Это позволит сохранить ценность предварительной модели, сделав модели более устойчивыми и гибкими для различных задач. ## Метод Метод, предложенный в статье, называется Joint Parameter Selection (JPS). Он стремится ограничить обновление параметров только самыми важными, спарсими, но в то же время эффективными. Решение включает два оператора: один для выбора параметров, способных принести самое большое влияние и сохранить универсальные свойства, а другой — для регулирования этих параметров. Архитектура является универсальной и может быть сочетана с различными предварительно обученными моделями. Теоретический анализ показывает, что этот подход гарантирует уменьшение обобщающей ошибки, если учитывать только самые важные параметры. Это позволяет установить теоретическую основу для JPS, оправдывающую его эффективность. ## Результаты Разработанные эксперименты проводились на различных бенчмарках в области данных изображений, где использовались предварительно обученные модели. Метод JPS был сравнен с текущими стандартами в области domain generalization. Результаты показали, что JPS не только повышает предсказательную точность, но и сохраняет генеральную способность модели. Этот подход показал лучшие результаты в сравнении с современными методами, установив новый стандарт для области domain generalization. Это подтверждает то, что JPS эффективно обеспечивает сбалансированное уменьшение ошибки и сохранение универсальных возможностей модели. ## Значимость Предложенный подход может применяться в области обработки изображений, машинного обучения, где требуется поддержать универсальность моделей в разных задачах, включая медицину, автоматизированные системы и многие другие. Он позволяет улучшить качество моделей в целом, сохраняя их универсальные способности. Это значительно увеличивает их применимость в различных сферах. За счет того, что JPS ограничивает обновление, он экономит ресурсы и улучшает общую эффективность машинного обучения. ## Выводы В статье был представлен новый подход к domain generalization, который