Gradient Surgery for Safe LLM Fine-Tuning

## Контекст Fine-tuning Large Language Models (LLMs) становится все более популярным для адаптации моделей к конкретным задачам и пользовательским требованиям. Однако этот процесс не обошелся без проблем. Внедрение небольшого количества злонамеренных примеров в данные для fine-tuning может серьезно повлиять на безопасность и соответствие модели пользовательским целям. Эта проблема становится критичной в контексте Fine-tuning-as-a-Service, где модели обучаются на пользовательских данных без полного контроля над их качеством. Недостаточной безопасностью и высоким риском токсичности являются широко известные проблемы в этой области. Наша мотивация заключается в разработке метода, который позволит обеспечивать безопасность моделей без снижения их фидбека и качества. ## Метод Мы предлагаем метод **SafeGrad**, основанный на концепции **gradient surgery**, чтобы устранить конфликтные градиенты в процессе fine-tuning. Если в пользовательских данных обнаруживается конфликт между задачей пользователя и безопасностью модели, метод **SafeGrad** отменяет этот конфликт, уменьшая влияние злонамеренных примеров. Мы также используем **KL-divergence alignment loss**, который позволяет модели учитывать безопасный профиль дистрибуции, основанный на foundation model. Технические решения включают в себя оптимизацию градиентов с помощью ортогональных проекций и интеграцию адаптивных мер для повышения устойчивости. ## Результаты Мы проводили эксперименты на различных LLMs, включая RoBERTa и T5, и использовали данные из реальных сценариев fine-tuning. **SafeGrad** показал стабильный результат, обеспечивая безопасность модели даже при высоких процентах злонамеренных примеров в данных. Наш метод показал значительное улучшение по сравнению с существующими методами в области safe fine-tuning. Мы также провели анализ точности и качества результатов, подтвердив, что **SafeGrad** не снижает фидбек модели и сохраняет высокую эффективность. ## Значимость Результаты **SafeGrad** имеют широкое применение в области безопасного fine-tuning LLMs, особенно в сферах, где безопасность и корректность модели критичны. Например, в области образования, здравоохранения и финансовых услуг. Наш метод предоставляет преимущества в более эффективном и безопасном обучении моделей, уменьшая риск сбоя безопасности. Мы также отмечаем, что **SafeGrad** может быть применен для развития безопасных алгоритмов в других областях, где адаптивные модели используются в защищенных средах. ## Выводы Мы представили **SafeGrad**, новый метод для решения проблемы конфликтов градиентов в процессе fine-tuning LLMs. Наши результаты показали, что **SafeGrad** обеспечивает высокую безопасность и качество моделей, даже при высоких процентах зло