Maximizing GPU Efficiency via Optimal Adapter Caching: An Analytical Approach for Multi-Tenant LLM Serving

## Контекст Последние годы сервисный языковых моделей (LLM) в развитии, во многом благодаря их универсальности. Однако, применение общих моделей к конкретным задачам часто требует развития адаптеров. Эти адаптеры значительно увеличивают нагрузку на системы, особенно в многоклиентских средах. Накладные расходы оказывают негативное влияние на производительность и повышают риск задержек и сбоев сервиса. Этот факт представляет вызов для эффективного управления ресурсами, особенно в средах с небольшим количеством ресурсов. Мы предлагаем первый аналитический подход, оптимизирующий размещение адаптеров на GPU в многоклиентских средах, в том числе применением цифровых двойников. Целью является улучшение производительности и эффективности ресурсного использования. ## Метод Мы предлагаем аналитическую модель, которая определяет оптимальное размещение адаптеров для GPU в системах LLM-серверов. Модель основывается на комплексном анализе накладных расходов, таких как память, время выполнения и переносимость запросов. Мы также разработали цифровую двойниковую модель, которая моделирует систему LLM-сервера в реальном времени, сохраняя ключевые метрики производительности. Эта модель позволяет провести эксперименты в имитационной среде, оценивая различные сценарии размещения. Мы упростили процесс оптимизации с помощью алгоритмов, которые автоматически определяют оптимальные параметры размещения, в том числе нагрузку на GPU, учет запросов и требований к памяти. ## Результаты Мы проверили нашу модель и цифровую двойниковую среду на реальных данных, собранных из работы с LLM-адаптерами. Мы сравнили результаты с реальной системой, получив сближение с ней, что подтвердило точность. Цифровая двойника оказалась точной в предсказании максимального числа запросов в секунду (QPS) и снижения соотношения ошибок, достигнув 94,5% точности в оценке производительности. В результате, мы установили, что наш подход эффективно уменьшает задержки и улучшает использование ресурсов, в том числе GPU, для серверов LLM. ## Значимость Мы предлагаем подход, который может быть применен в различных областях, включая облачные вычисления, серверное приложение и машинное обучение. Наш метод может предотвратить задержки, оптимизировать использование ресурсов и повысить производительность серверов LLM. Он имеет потенциал для улучшения ресурсов в окружениях с многоклиентской моделью, где эффективность ресурсов критична. Будущие исследования будут решать проблемы с масштабированием на несколько узлов и расширение модели для учета других факторов, таких как тре