Exploiting Layer Normalization Fine-tuning in Visual Transformer Foundation Models for Classification

#### Контекст Виджетные трансформеры (ViTs) набирают всё большую популярность в области обработки изображений, особенно для задач классификации. Одной из ключевых компонент ViTs является Layer Normalization (LayerNorm), которая управляет динамикой слоёв модели. Однако, динамика LayerNorm при её применении в задаче переобучения (fine-tuning) под условиями ограниченного количества данных и сильных доменных переходов ещё не полностью освещена. Эта проблема становится критичной при использовании моделей в реальных сценариях, где доступ к данным ограничен, и домены между исходным и целевым сильно различаются. #### Метод Мы проводили подробный анализ динамики LayerNorm в режиме fine-tuning. Основной фокус был на изучении изменений параметров LayerNorm (LayerNorm shifts) в зависимости от объёма данных и степени доменного перехода. Мы предложили меру Fine-tuning Shift Ratio ($FSR$), которая позволяет оценивать степень представительности целевых данных. Далее, мы разработали простую, но эффективную методику, которая использует положительное значение $\lambda$, которое связано с $FSR$. Эта методика позволяет корректировать LayerNorm параметры для более точного выравнивания с представительными данными. Также, мы ввели циклическую структуру, которая улучшает процесс fine-tuning. #### Результаты Мы провёряли нашу модель на двух типах изображений: натуральных и патологических. Выполнялись эксперименты в условиях различных объёмов целевых данных и степеней доменных переходов. Мы отметили, что в случае перехода из домена исходного в целевой (OOD), $FSR$ значительно меньше, чем в случае внутридоменных (ID) переходов. Это свидетельствует о меньшей представительности целевых данных в OOD-задачах. Мы также отметили, что модели ViT, применяемые к патологическим изображениям, демонстрируют более устойчивое поведение, близкое к ID-условиям, что подтверждает их более осторожное обновление LayerNorm параметров. #### Значимость Наши результаты имеют значительное значение для практического применения ViTs в задачах классификации, особенно в условиях ограниченных данных и сильных доменных переходов. Мы продемонстрировали, что $FSR$ может служить важной подсказкой для оценки качества целевых данных. Разработанный подход может быть широко применён в оптимизации моделей для реальных сценариев, таких как медицинская диагностика и трансформация изображений. #### Выводы Мы проанализировали закрытую область динамики LayerNorm в процессе fine-tuning и предложили эффективные методы для её корректировки. Наши результаты показали, что корректировка LayerNorm может значительно улучшить производительность моделей в условиях данных с ограниченным объёмом. В будущем, мы планируем расширить