Taming the Chaos: Coordinated Autoscaling for Heterogeneous and Disaggregated LLM Inference

#### Контекст Построение и поддержание сервисов Large Language Models (LLMs) потребляют большие ресурсы, особенно при использовании Prefill-Decode (P/D) архитектур. Эти архитектуры разделяют работу на две стадии — Prefill и Decode, что приводит к неэффективному использованию разнородного оборудования и к сетевым проблемам. Традиционные автомасштабируемые системы не способны эффективно управлять такими системами, что приводит к потере ресурсов и нехватке ресурсов. Это создает мотивацию для разработки новых методологий, которые могут эффективно управлять ресурсами в таких сложных системах. #### Метод Методология, представленная в HeteroScale, основывается на топологически созданном расписании и метрике, оптимизированной для больших данных. Архитектура включает в себя два основных компонента: 1) топологический планировщик, который адаптируется к разным типам железа и сетевым ограничениям, и 2) метрика-драйвенная политика, основанная на эмпирических данных. Технически, HeteroScale использует новую метрику для совместного управления пулом Prefill и Decode, чтобы поддерживать баланс архитектуры и эффективно управлять ресурсами. Эту модель протестировали на огромном производственном окружении, надеясь на улучшение управления железом и экономии ресурсов. #### Результаты В результате экспериментов, проведенных на большом количестве реальных данных, показано, что HeteroScale эффективно улучшает управление ресурсами. Он увеличивает среднюю загрузку GPU до 26.6%, что значительно превышает результаты традиционных систем. Это приводит к экономии сотен тысяч GPU-часов ежедневно, сохраняя при этом высокие сервисные уровни. Эти результаты показывают, что HeteroScale может эффективно решить проблемы, связанные с высоконагруженными LLM-сервисами. #### Значимость HeteroScale может применяться в различных областях, где требуется эффективное управление ресурсами в сервисах с графическими процессорами, таких как обработка естественного языка, генерация текста, трансляции и другие GPU-интенсивные задачи. Он предоставляет значительные преимущества, такие как эффективное использование ресурсов, низкие затраты на ресурсы и улучшение производительности. Это может существенно повлиять на развитие сервисов LLM, улучшая их стоимость и эффективность. #### Выводы HeteroScale — это эффективная система управления ресурсами, которая может работать в сложных ситуациях с разнородным оборудованием и разделенными архитектурами. Она не только улучшает производительность, но и экономит ресурсы, устанавливая новые стандарты для LLM-сервисов. Будущие исследования будут нацелены