Robust Fine-Tuning from Non-Robust Pretrained Models: Mitigating Suboptimal Transfer With Adversarial Scheduling

## Контекст Появление моделей предобученных на масштабных данных (pretrained models) преобразовало машинное обучение, особенно в области робастного (robust) fine-tuning (RFT). Однако существуют существенные проблемы, такие как необходимость выравнивания сложности задачи и уровня защиты от атак адверсарных примеров. Несмотря на то, что в открытом доступе доступно много не-робастных (non-robust) pretrained model, их эффективность при RFT недостаточно изучена. Это создает мотивацию для исследования условий, при которых не-робастные модели могут быть эффективно использованы в RFT. ## Метод Мы рассматриваем робастное fine-tuning (RFT), нацеленное на достижение лучшей защиты от атак адверсарных примеров, при этом сохраняя высокую точность на родной задаче (downstream task). Методология включает эксперименты с шестью предобученными моделями и пятью различными датасетами. Основной инновацией является предложение новой техники — **Epsilon-Scheduling**, которая включает в себя гибкий график сильности токсичности (perturbation strength) во время обучения. Мы также предлагаем **expected robustness**, новую метрику, которая оценивает точность и защиту модели по мере увеличения уровня атак адверсарных примеров. ## Результаты Исследования показали, что при попытке fine-tuning не-робастных моделей с целью достижения робастности происходит "откат" (suboptimal transfer), когда модель не может одновременно достичь высокой точности и высокого уровня робастности. Это эффект мы отметили на трудных задачах и с высоким уровнем шума в данных. Однако, применение **Epsilon-Scheduling** позволяет избежать этого проблемы, обеспечивая более гладкое и эффективное обучение. Метрика **expected robustness** показывает, что этот подход позволяет достичь более сбалансированной точности и защиты в разных условиях. ## Значимость Результаты этой работы имеют практическое значение для области машинного обучения, где требуется робастность и точность в различных условиях. Новая методика позволяет избегать потери эффективности при переобучении с не-робастных моделей, что улучшает их эффективность в RFT. Эти технологии могут быть применены в темах, где требуется обеспечение защиты от атак адверсарных примеров, например, в области безопасности, автоматизации и дальнейших исследований в области машинного обучения. ## Выводы Мы установили, что в Robust Fine-Tuning с не-робастных моделей может возникать "откат" в задаче фине-тюнинга, но наша новая техника **Epsilon-Scheduling** устраняет этот эффект, обеспечивая робастность и высокую точность. Мы также представили **expected robustness** как новую метрику для эффективной оценки моделей. В будущих исследованиях мы планируем применить эти методы на б