AdaPtis: Reducing Pipeline Bubbles with Adaptive Pipeline Parallelism on Heterogeneous Models

## Контекст Повышение эффективности обучения больших языковых моделей (LLM) является важной задачей в искусственном интеллекте. Одним из ключевых подходов для решения этой задачи является pipeline parallelism, который позволяет распределять вычислительные задачи по нескольким узлам. Однако, при росте сложности моделей и их разнообразии возникают проблемы, такие как "pipeline bubbles" (пустые промежутки во времени, когда некоторые узлы остаются неактивными). Эти проблемы снижают эффективность процесса обучения. Традиционные подходы к решению этой проблемы ограничиваются исключительно оптимизацией графа модели или резервированием ресурсов, не учитывая целостную оптимизацию моделей, размещения и загрузки. Это приводит к ограниченным улучшениям производительности или даже к ее ухудшению. Наша цель — разработать систему, которая адаптивно регулирует процессы параллелизма, сочетая модельное разделение, местонахождение и загрузку. ## Метод Мы предлагаем AdaPtis, систему для обучения LLMs, основанную на адаптивном pipeline parallelism. AdaPtis включает в себя три основных компонента. Во-первых, **pipeline performance model**, который строится на основе расчетов узлов, сетевой задержки и параллельных вычислений. Этот модельный подход позволяет точно оценивать производительность и характеристики работы системы. Во-вторых, **joint optimization framework**, которое одновременно координирует моделирование, размещение и загрузку. Это позволяет максимизировать эффективность и сбалансировать нагрузку. В-третьих, мы разработали **unified pipeline executor**, который позволяет выполнять разные стратегии параллелизма в единой системе. ## Результаты Мы провели эксперименты на различных моделях языковых моделей, включая BERT, GPT и другие. Обучение проводилось на различных масштабах, от небольших моделей до масштабных LLM. У нас были сравнения с Megatron-LM I-1F1B, и результаты показали существенные улучшения. Например, на модели GPT-3 с 175 миллиардов параметров мы достигли скоростного прироста 1.42x (с максимальным приростом 2.14x). Эти результаты свидетельствуют о том, что AdaPtis эффективно справляется с тем, чтобы устранить "pipeline bubbles" и оптимизировать целостный процесс обучения. ## Значимость Предложенная система AdaPtis имеет широкое применение в обучении больших моделей интеллектуальных систем. Она улучшает производительность, сокращает время обучения и уменьшает затраты ресурсов. Одним из основных преимуществ является комбинация трех ключевых аспектов: моделирования, размещения и загрузки, что обеспечивает более эффективное использование ресурсов. Мы видим потенциал AdaPtis в улучшении обучения LLMs в различных сценариях, в то