Shadow in the Cache: Unveiling and Mitigating Privacy Risks of KV-cache in LLM Inference

## Контекст Large Language Models (LLMs) стали ключевыми инструментами для решения различных задач, включая генерацию текста, синтез кода и анализ данных. Одной из основных оптимизаций, позволяющих увеличить эффективность их интерпретации, является использование Key-Value (KV) cache. Этот механизм хранит intermediate attention computations, что позволяет избежать повторных вычислений и ускорить процесс. Однако, несмотря на свою полезность, KV-cache создает недооцененные вопросы безопасности и конфиденциальности. Например, он может хранить конфиденциальные данные пользователя, которые впоследствии могут быть использованы в незаконных целях. В настоящее время существуют недостатки в анализе и стратегиях защиты этого критического компонента. Этот новый исследование направлено на изучение существующих проблем и разработку эффективных методов защиты. ## Метод Методология исследования состоит из нескольких этапов. В первую очередь, авторы проанализировали архитектуру KV-cache и установили, что она может содержать конфиденциальные данные, которые могут быть подвержены атакам. Затем они разработали три уникальных вектора атаки: **Direct Inversion Attack**, **Collision Attack** и **Injection Attack**. Эти атаки используют разные подходы для извлечения информации из KV-cache. Для защиты, авторы предложили KV-Cloak — новую защитную схему, которая основывается на reversible matrix-based obfuscation и operator fusion. Они также описали алгоритмы реализации и меры, использованные для оценки эффективности защиты. ## Результаты На экспериментальных данных показано, что атаки способны восстановить сентиментные данные из KV-cache с высокой точностью. Например, в Direct Inversion Attack, атакующий может восстановить конкретные фрагменты текста, использованные в интерпретации. Collision Attack позволяет атакующему угадывать взаимосвязи между разными данными. Injection Attack добавляет злонамеренные данные в KV-cache, что повлияет на последующие вычисления. Однако при использовании KV-Cloak эти атаки оказались ненадежными: восстановленная информация становится непонятной и бессмысленной, а результаты модели остаются почти неизменными. Эти результаты подтверждают эффективность KV-Cloak в сочетании с минимальным ущербным эффектом на производительность и модельный accuracy. ## Значимость Результаты имеют большое значение в сферах, где защита конфиденциальных данных является критически важной. KV-Cloak может быть применен в области конфиденциальных текстовых моделей, медицинского анализа и других приложениях, где конфиденциальность является первостепенной задачей. Ключевым преимуществом является то, что он обеспечивает высокую защиту без существенного снижения производительности и точности. Это