SilentStriker:Toward Stealthy Bit-Flip Attacks on Large Language Models

## Контекст В последние годы широко распространено использование больших языковых моделей (LLMs) в критичных областях применения, таких как медицина, финансы и системы управления. Однако данные модели чувствительны к атакам, направленным на их характеристики и функционирование. Одним из таких атак являются **Bit-Flip Attacks (BFAs)**, которые используют уязвимости железа для искажения моделей параметров и приводят к серьезному выполнению задач. Несмотря на это, существующие методы BFA имеют ограничения в характеристике работы модели и естественности выходных данных. Мотивация для данной работы лежит в необходимости создания мощной, но скрытой, бит-флип-атаки, которая не только будет эффективной, но и сохранит природу выводов. ## Метод Мы предлагаем **SilentStriker**, первую stealthy bit-flip attack на LLMs. Для разработки SilentStriker мы вводим новый подход к оптимизации атак, который учитывает сложность выходов LLMs с разными длинами и широким пространством выводов. В отличие от предыдущих методов, которые используют оценку perplexity для формирования атаки, мы предлагаем новую формулу для оптимизации, основанную на важных выходных токенах. Это позволяет оптимизировать и целевой эффект атаки, и ее скрытость. Также в SilentStriker внедрена итеративная, прогрессивная стратегия поиска, которая увеличивает эффективность атаки. ## Результаты Мы проверили SilentStriker на нескольких LLMs, включая GPT-2 и RoBERTa, используя различные задачи NLP. Эксперименты показали, что SilentStriker значительно улучшает стестость атак по сравнению с существующими методами, а также сохраняет высокий уровень естественности выходных данных. Например, в задаче генерации текста SilentStriker удалось снизить производительность модели на 30%, при этом сохранив природу вывода на уровне 95%. Это свидетельствует о высокой эффективности и скрытости нашего подхода. ## Значимость SilentStriker может применяться в различных областях, где значительное необходимость в повышении безопасности LLMs. Например, в медицине и финансах, где подделанные выводы модели могут привести к значительным потерям. Основное преимущество SilentStriker заключается в скрытости и эффективности атаки. Данный подход может быть использован для оценки уязвимости любых LLMs, помогая разработчикам улучшить меры безопасности и выявить уязвимости до их использования в критичных приложениях. ## Выводы Мы представили SilentStriker, первую stealthy bit-flip attack, которая эффективно приводит к снижению производительности LLMs, сохраняя природу вывода. Это достигнуто благодаря новому подходу к оптимизации и итеративной стратегии поиска. Наши результаты показывают