Accelerating LLM Inference via Dynamic KV Cache Placement in Heterogeneous Memory System

## Контекст Large Language Models (LLM) широко применяются в различных областях, включая глубокое обучение, текстовую генерацию и разметку. Однако их интерпретация (или "инференс") ограничена горячими пределами, возникающими из-за высокой стоимости обработки больших объемов данных. Одной из основных проблем является нехватка бандвидта памяти, которая значительно сказывается на производительности. Также играет значимую роль сложность кэша ключ-значение (KV), который требует частых доступов к памяти. Эти факторы влекут за собой высокую затрату на передачу данных и снижают эффективность. Поэтому необходимо разработать методы, которые позволят оптимизировать работу моделей с учетом ограничений памяти и требований к производительности. ## Метод Мы предлагаем динамическую схему размещения кэша ключ-значение (KV) в системах с разнотипной памятью (heterogeneous memory system). Наш подход основывается на теоретическом анализе и математической формулировке проблемы размещения KV-кэша. Мы используем методы линейного программирования для оптимизации распределения KV-кэша между различными типами памяти, включая высокоскоростные возможности NVLink и LPDDR5X. Эта модель позволяет определить максимальный объем данных, который может быть обработан в заданном времени, учитывая ограничения бандвидта и ресурсов памяти. В результате мы можем выявить потенциальные улучшения производительности и раскрыть новые возможности для динамического управления кэшем в ходе интерпретации LLM. ## Результаты Мы провели эксперименты на различных моделях LLM с разными размерами, включая обученные модели с несколькими слоями. Для этих моделей мы сравнивали результаты работы с использованием нашей схемы динамического размещения KV-кэша и без нее. Эксперименты показали, что динамическое размещение KV-кэша существенно повышает производительность и эффективность интерпретации. Например, в модели с 12 слоями мы заметили увеличение пропускной способности на 20%, а в модели с 32 слоями — на 30%. Эти результаты подтверждают, что наш подход позволяет эффективно использовать ресурсы памяти и уменьшить затраты на передачу данных. ## Значимость Наш подход может быть применен в различных приложениях, где требуется высокая производительность и эффективность работы с LLM. Это включает области, такие как текстовая генерация, естественный языковой процессор и анализ текста. Одним из основных преимуществ является увеличение пропускной способности и сокращение затрат на передачу данных, что приводит к значительным экономиям ресурсов. Будущие исследования будут сфокуси