Adaptively Robust LLM Inference Optimization under Prediction Uncertainty

#### Контекст Ласточкиной проблемы, связанной с оптимизацией очередности выполнения задач в сервисных системах, приобрела новую роль в контексте больших языковых моделей (LLM). Эти модели широко применяются в различных областях, но их выполнение требует значительных вычислительных и энергетических ресурсов. Особенно критично эффективное управление ресурсами при выполнении последовательных запросов, которые включают неопределенность в длине выходных данных. Эта неопределенность может существенно сказываться на производительности и энергоэффективности. Цель данного исследования — разработать методы, позволяющие снизить задержки и энергопотребление в LLM-инференсе, используя прогнозирование длины выходных данных. #### Метод Для решения проблемы неопределенности в длине выходных данных LLM используется гибкий подход, основанный на машинном обучении. Модели предлагаются прогнозировать интервалы длины выходных данных для каждого запроса, точность которых может отличаться. Разработаны два алгоритма: 1. **Алгоритм $\mathcal{A}_{\max}$**: основывается на использовании верхней границы прогнозируемого интервала длины для следующего запроса. Это позволяет избежать переполнения памяти, но может привести к избыточной задержке и энергопотреблению. 2. **Алгоритм $\mathcal{A}_{\min}$**: адаптивный алгоритм, который использует нижнюю границу прогнозируемого интервала для начальной оценки длины выходных данных. Затем он динамически апгрейдится в процессе выполнения запроса, учитывая получаемые данные. Эти методы стремятся минимизировать задержки и энергоэффективность, при этом учитывая неопределенность в прогнозировании. #### Результаты Исследование включает в себя симуляции для оценки производительности алгоритмов в различных условиях неопределенности. Найдено, что $\mathcal{A}_{\min}$ показывает наилучшие результаты в сравнении с $\mathcal{A}_{\max}$, особенно при снижении точности прогнозов. Данный алгоритм достигает конкурентного отношения, приближенного к логарифмическому масштабу, что делает его эффективным и надежным в практических ситуациях. Также показано, что $\mathcal{A}_{\min}$ значительно эффективнее по сравнению с другими методами, особенно при ситуациях с низкой точностью прогнозов. #### Значимость Разработанные методы могут быть применены в системах, требующих эффективного управления ресурсами, таких как облачные сервисы, системы реального времени и автоматизированные системы. Особым преимуществом является уменьшение задержек и потребления энергии, что может привлечь интерес у разработчиков и операторов таких систем. Будущие исследова