LLM Serving Optimization with Variable Prefill and Decode Lengths

#### Контекст Сервирование ло LLM (Large Language Models) является важной задачей для платформ, обрабатывающих запросы в реальном времени. Запросы к LLM могут варьироваться в зависимости от длины входных промотов (prefill lengths) и длины получаемых ответов (decode lengths). Это значит, что каждый запрос потребляет различное количество памяти, что создает сложивую структуру для оптимального сервирования. Помимо этого, запросы могут накладывать ограничения на порядок обработки и пакетирование, что далее усложняет задачу. Таким образом, целью этого исследования является оптимизация сервирования запросов LLM в условиях неоднородных требований к памяти и ограничениям на обработку. #### Метод Мы исследуем проблему оптимизации запросов LLM с разными параметрами prefill и decode, включая ограничения на пакетирование и порядок обработки. Методология включает: 1. Анализ существующих стратегий оптимизации, таких как First-Come-First-Serve (FCFS) и Shortest-First (SF). 2. Разработка нового подхода, основанного на выборе метрики, которая эффективно строит пакеты запросов во время выполнения. 3. Обоснование константной конкурентной метрики для нового алгоритма. 4. Разработка динамических программирования, методов поиска локальных методов и логистических программирования, для лучшего использования ресурсов. #### Результаты Мы проводим эксперименты с разными стратегиями и данными, оценивая их эффективность в минимизации завершающего времени запросов. Результаты показывают, что новый алгоритм с метрикой выбора показывает значительные улучшения по сравнению с существующими методами. Особенно выгоден в условиях большого объема памяти и разнообразных ограничений запросов. Оптимизированные динамические программирование и локальные поисковые методы также показали высокую эффективность в ситуациях, где требуется быстрая реакция. #### Значимость Новый подход может быть применен в различных областях, где LLM-сервисы используются, таких как системы рекомендаций, поисковые системы, искусственный интеллект в реальном времени. Преимущества нового метода включают: - Уменьшение завершающего времени запросов. - Улучшение использования ресурсов. - Увеличение скорости и точность ответов. Эти достижения позволяют улучшить пользовательский опыт и эффективность систем LLM в различных приложениях. #### Выводы Мы доказали, что существующие стратегии оптимизации LLM-запросов имеют ограниченную эффективность в условиях неоднородных требований к памяти и ограничениям. Новый алгоритм с метрикой выбора показал стабильную и высокую эффективность. Будущие и