OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule

#### Контекст Modern large language models (LLMs) превосходят ранние аппаратуры в текстовом понимании и генерации, особенно для продвинутых задач, таких как контекстное понимание и автоматическая генерация текста. Однако эти модели сталкиваются с возрастающей проблемой эффективности использования памяти. Наибольшую проблему вызывает KV-cache (key-value cache), необходимая для autoregressive generation. Эта проблема становится заметной при обработке длинных контекстов, когда размер KV-cache становится слишком велик для хранения в оперативной памяти. Это уменьшает эффективность моделей и ограничивает их приложения. Многие ключевые функции, такие как низкая стоимость вычислений и высокая скорость обработки, не достижимы без решения этой проблемы. #### Метод OjaKV предлагает новый подход, который объединяет стратегический hybrid storage и online subspace adaptation. Он разделяет токены на три группы: 1) ключевые токены, которые хранятся в полной размерности, чтобы обеспечить высокую точность в аттенции; 2) некоторые токены, которые хранятся с помощью низкорангового проектирования с помощью Oja's algorithm для online principal component analysis (PCA); 3) остальные токены, которые применяются низкоранговой структуре. OjaKV использует Oja's rule для incremental adaptation projection basis во время decoding и comprehensive update во время prompt prefilling. Это позволяет subspace адаптироваться к evolving context. Фреймворк также совместим с современными attention modules, такими как FlashAttention. #### Результаты Мы провели эксперименты на различных датасетах и задачах, включая стандартные тестовые наборы и новые тесты для длинных контекстов. Мы сравнили OjaKV с другими подходами, такими как static low-rank projection. Результаты показали, что OjaKV не только сохраняет zero-shot accuracy при высоких compression ratios, но и неожиданно повышает потенциал на задачах с длинными контекстами, где требуется сложное решение. Например, на тесте с 32K-token prompt и batch size 4 OjaKV эффективно уменьшил размер KV-cache с 16 GB до 4 GB, существенно улучшив производительность. #### Значимость OjaKV предлагает практическое решение для эффективного хранения и обработки длинных контекстов в LLMs. Он может быть применен в различных областях, таких как NLP, NMT и другие задачи, требующие высокой эффективности памяти и high-fidelity context tracking. Этот подход не только улучшает производительность, но и позволяет LLMs более эффективно использовать ресурсы, что делает его привлекательным для серверных и edge-device приложений. #### Выводы Мы представили OjaKV, новый hybrid framework для online low-rank KV cache compression. Наши результаты показали, что OjaKV эффективно решает проблему memory bottleneck в LLMs и позволяет эффективно обрабатывать длинные контексты. Мы также определили направления для будущих исследований, в том числе улучшение adaptive algorithms и расширение применений OjaKV к другим моделям и задачам.