NeuroBreak: Unveil Internal Jailbreak Mechanisms in Large Language Models

## Контекст Большие языковые модели (LLMs) широко используются в различных областях, включая информатику, медицину и финансы. Однако их применение сопряжено с рядом проблем, в том числе с вопросами безопасности. Известно, что злоумышленники могут использовать атаки с использованием приманок (jailbreak attacks) для того, чтобы обходить защитные механизмы LLMs и получать нежелательные или поддельные ответы. Эти атаки создают серьезные риски для безопасности и этичности применения LLMs. Существующие методы анализа риска атак с приманками часто ограничиваются внешним анализом, не достаточно всесторонне раскрывая внутренние механизмы LLMs. Таким образом, нужно развить методы, позволяющие детально изучать внутренние системы защиты LLMs с точки зрения их уязвимостей и защищенности. ## Метод Мы предлагаем **NeuroBreak** — систему анализа безопасности LLMs на уровне нейронов. Методология NeuroBreak основывается на тонкой конфигурации системных потребностей, разработанных совместно с экспертами в области AI-безопасности. Она включает три основных компонента: 1. **Анализ влияния нейронов**: проведение пробного анализа векторного пространства для каждого слоя модели, чтобы понять, как нейроны влияют на результат. 2. **Обнаружение критичных нейронов**: идентификация критичных нейронов, которые имеют сильное влияние на поведение модели во время генерации ответов. 3. **Проведение кейс-стадий**: использование конкретных тестовых сценариев для проверки того, насколько эффективны реализованные меры безопасности. Наша система предлагает новый взгляд на моделирование и анализ безопасности LLMs, позволяя проводить механистические исследований на уровне нейронов. ## Результаты Мы проводили плотные эксперименты с использованием нескольких моделей LLM, включая LLAMA и BLOOM. Использовались широкие данные, включая как стандартные, так и настраиваемые тестовые наборы. Результаты показали, что NeuroBreak детально определяет критичные нейроны, которые могут быть использованы для обхода защитных механизмов. Например, в тестах с приманками, NeuroBreak выявлял нейроны, которые влияли на выдачу нежелательных ответов, и ставил их под контроль. Эксперименты также показывали, что наша система дает более точный вид на внутренние процессы генерации ответов, чем существующие методы. ## Значимость NeuroBreak может быть применена в следующих областях: - **Защита LLMs**: помогает разрабатывать более эффективные меры защиты от атак с приманками. - **Безопасность и этика**: позволяет проверить соблюдение этичных стандартов и защиты от нежелательных результатов. - **Развитие моделей**: поддержи