Data-Centric Elastic Pipeline Parallelism for Efficient Long-Context LLM Training

## Контекст Длинный контекст (long context) является ключевой задачей для расширения возможностей Large Language Models (LLM). Однако обучение таких моделей сталкивается с рядом проблем, включая высокую стоимость обмена данными при использовании существующих схем тренировки, таких как sequence parallelism. Другие подходы, такие как pipeline parallelism (PP), уменьшают накладные расходы на связь, но его эффективность сильно зависит от тонкости разбиения задач (partitioning granularity). Большинство существующих систем оптимизируют PP статически, не учитывая разнообразие длин последовательностей, что приводит к неэффективной работе и неэффективному использованию ресурсов. Этот контекст побудил разработать Elastic Pipeline Parallelism (EPP), который адаптирует разбиение задач на token-level и batch-level PP, чтобы соответствовать характеристикам ресурсов и рабочей нагрузки. Такой подход может повысить эффективность обучения LLM в сценариях с длинным контекстом. ## Метод Методология EPP основывается на совмещении token-level PP с batch-level PP для адаптивного управления длинными последовательностями. Используется InfiniPipe — распределенная система тренировки, оснащенная: 1. **Resource-Aware and Workload-Balanced Sequence Processor**, который разбивает длинные последовательности и упаковывает короткие, чтобы максимально эффективно использовать ресурсы. 2. **Stage-Aware Chunk-Level Adaptive Checkpointing**, механизм, который оптимизирует pipeline schedule и gradient checkpointing, уменьшая память и улучшая скорость. Эта архитектура позволяет InfiniPipe адаптироваться к различным ситуациям, совмещая тонкую оптимизацию и отказоустойчивость. ## Результаты Эксперименты проводились на реальных длинных контекстах с разными характеристиками нагрузки и ресурсами. Использовались данные с большим разбросом длин последовательностей, чтобы подчеркнуть проблему workload imbalance в статических схемах. Результаты показали: - 1.69x быстрее выполнения по сравнению со стандартными системами. - значительное снижение memory overhead благодаря адаптивному распределению задач. - улучшение параллельной производительности благодаря гибкой схеме распаковки и пакетирования. Эти результаты свидетельствуют о значительном повышении эффективности и универсальности EPP в разных условиях. ## Значимость ИнфиниПипе демонстрирует потенциал для эффективного обучения LLM в сценариях с длинными контекстами. Он может применяться в облачных сервисах, NLP-системах и других приложениях, где требуется работа с очень длинными данными. Ключевые преимущества: - **Эффективность**: 1.69x быстрее, чем существующие системы. - **Универсальность**: адаптируется к разным условиям ресурсов и нагрузки. - **Применение**: может стать ключевым ин