Mitigating Jailbreaks with Intent-Aware LLMs

#### Контекст Область исследования сосредоточена на обеспечении безопасности и устойчивости к интерпретации задач (jailbreaks) крупных языковых моделей (LLMs). Эти модели часто оказываются уязвимыми из-за того, что их тренировочные данные не полностью охватывают потенциально опасные или вредоносные инструкции. Такие уязвимости включают в себя манипуляции с инструкциями, позволяющие моделям выдавать злонамеренные или нежелательные ответы. Это создает трудную проблему для разработчиков, которые должны сбалансировать безопасность и производительность задач моделей. Настоящая работа стремится устранить эти проблемы, создав эффективный метод, который улучшает устойчивость моделей к таким атакам. #### Метод Мы предлагаем Intent-FT, метод легковесной тонкой настройки (fine-tuning), который учитывает намерение, скрытое за входной инструкцией. Этот подход обучает модель понимать интент за поставленной задачей, прежде чем совершать какие-либо действия. Основная идея заключается в том, чтобы обучить модель на заранее подобранных атаках в форме вредоносных инструкций, чтобы она могла выделять основной импульс их поведения. Мы используем специально созданный набор данных для обучения, который включает в себя различные виды вредоносных инструкций. Это позволяет модели генерировать устойчивые ответы, даже на неизвестные атаки. Метод Intent-FT применяется к LLMs различных размеров и архитектур, обеспечивая широкую покрытие и эффективность. #### Результаты Мы провели разнообразные эксперименты для оценки Intent-FT на открытых и закрытых моделях. Мы протестировали его возможности в отношении различных типов атак, включая опасные и нежелательные инструкции. Результаты показали, что Intent-FT существенно повышает устойчивость по отношению к всех проверенным атакам. Мы также сравнили существующие методы защиты и показали, что Intent-FT превосходит их в значительной степени. Уровень успеха всех проверенных атак не превышал 50%, в то время как другие методы защиты оставались частично эффективными. Также, мы проверили метод на наличии лишних отказов в отношении наивных инструкций, содержащих нежелательные слова, и выявили, что Intent-FT снижает эти ложные срабатывания. #### Значимость Intent-FT может быть применен в различных областях, таких как безопасность информационных систем, создание защищенных технологий для частных пользователей и бизнеса, а также в области обработки естественного языка. Метод предоставляет значительные преимущества, включая улучшенную безопасность, более точную интерпретацию задач и уменьшение ложных срабатываний. Это может повлиять на