X-MoE: Enabling Scalable Training for Emerging Mixture-of-Experts Architectures on HPC Platforms

#### Контекст Во всемирных исследованиях в области обработки и анализа данных, нейросетевые модели, основанные на архитектурах Mixture-of-Experts (MoE), приобрели популярность благодаря способности обеспечить высокую модельную качество при гибком использовании ресурсов. Однако, у текущих реализаций MoE существуют значимые проблемы. Это существенный потребление памяти во время активации и высокостоимостная связь "все с всем" (all-to-all communication), которые ограничивают их масштабирование. Кроме того, существующие решения для тренировки MoE как правило оптимизированы для NVIDIA GPUs, что приводит к неэффективности при использовании других платформ, таких как AMD или Intel. X-MoE предлагается как решение этих проблем, предлагая новую MoE-систему для тренировки скорострельных моделей с высокой эффективностью и масштабируемостью. #### Метод X-MoE представляет собой новую архитектуру тренировки сетей с тонкой сегментацией экспертов, которая использует несколько инновационных техник. Одной из основных техник является padding-free MoE training, которая уменьшает затраты на память и ускоряет вычисления. Другим ключевым моментом является редундантность-бипассинг диспатча, что позволяет избежать ненужных расходов на связи. Также, X-MoE внедряет механизм hybrid parallelism, который позволяет разбить модель на сегменты (MoE blocks), которые могут быть последовательно отправлены на разных узлов. Это подход повышает эффективность тренировки и обеспечивает поддержку кросс-платформенности. Таким образом, X-MoE предоставляет систему, которая может эффективно работать на разных платформах, включая AMD и NVIDIA GPUs. #### Результаты В ходе экспериментов с X-MoE, использовались данные, тренировочные модели и оценки производительности на Frontier supercomputer, который оснащен AMD MI250X GPUs. Тестирование показало, что X-MoE может скользьть DeepSeek-style MoEs до 545 миллиардов параметров (без отказа в качестве вывода) на 1024 GPUs — 10 раз больше, чем существующие методы под указанным объемом ресурсов. Это позволяет поддерживать высокую скорость обучения при минимизации затрат на память и вычислительных вычислений. Таким образом, X-MoE доказывает свою эффективность в сравнении с имеющимися решениями. #### Значимость Полученная система X-MoE имеет широкие области применения в области тренировки сложных нейронных сетей, в том числе для моделей, оптимизированных для роботов, искусственного интеллекта и анализа больших данных. Одним из главных преимуществ X-MoE является ее кросс-платформенность и высокая эффективность, что позволяет ей работать на разных платформах, включая AMD и NVIDIA GPUs.