CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks

## Контекст Увеличение спроса на интеллектуальные мобильные приложения привело к необходимости использования многоагентного взаимодействия с трансформер-основанными большими языковыми моделями (LLM) в мобильных сетях edge computing (MEC). Однако обучение таких моделей в таких средах сталкивается с рядом проблем: значительными вычислительными затратами, высокой задержкой end-to-end и ограниченной общей соответствия модели. Одним из основных задач модели CollaPipe является улучшение эффективности вычислений и уменьшение задержек во время обучения лэнгвидж-моделей в хетерогенных и динамичных сетях. ## Метод CollaPipe предлагает гибридный подход к распределенному обучению, который объединяет сегментированную последовательность с переменной длиной (половина модели трансформера - на устройствах пользователей, а другая половина - на граничных серверах) с федеративным слиянием моделей. Для производительности и эффективности модели в CollaPipe используется адаптивное разделение модели на сегменты с разной длиной, подход для оптимизации ресурсов (микро-батчей, скорости передачи и питающего уровня), а также формулировка задач по оптимизации модели. Это дает возможность улучшить эффективность обучения и сократить задержки в системе. ## Результаты В ходе экспериментов по обучению сети CollaPipe для трансформеров и BERT в различных задачах показано, что модель CollaPipe улучшает вычислительную эффективность на 15.09%, сокращает задержки в системе на 48.98%, и уменьшает использование памяти на устройствах до половины. Эти результаты указывают на эффективность CollaPipe в оптимизации обучения моделей в средах с ограниченными ресурсами и динамическими условиями сети. ## Значимость Модель CollaPipe может быть применена в различных сценариях, включая интеллектуальные приложения, где требуется уменьшение задержек и высокая производительность. Особенно эффективна в сетях с низким каналом передачи данных или где требуется реалистическое обучение моделей в реальном времени. Модель CollaPipe создает преимущества в гибкости и эффективности для обучения моделей в сетях с требованиями к высокой пропускной способности и минимальной задержке. ## Выводы Результаты CollaPipe показывают, что она эффективно решает задачи оптимизации во время обучения трансформеров в хетерогенных MEC-сетях. Будущие исследования будут ориентированы на расширение CollaPipe для других моделей, таких как GPT-3, и на изучение поведения модели в более сложных сетях с многоуровневыми агентами.