VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo
2508.02317v3
cs.CL, cs.AI, cs.DC
2025-08-09
Авторы:
Qianli Ma, Yaowei Zheng, Zhelun Shi, Zhongkai Zhao, Bin Jia, Ziyue Huang, Zhiqi Lin, Youjie Li, Jiacheng Yang, Yanghua Peng, Zhi Zhang, Xin Liu
Резюме на русском
Ограничения системы и трудности в обучении omni-modal LLMs влекут за собой низкую эффективность и высокий инженерный затрат. Мы предлагаем VeOmni — модульный и производительный фреймворк, который ускоряет развитие omni-modal LLMs. Основной идеей VeOmni является использование модельно-центрических распределенных рецептов, разделяющих коммуникацию от вычислений. Это позволяет эффективно использовать трехмерную параллельность при обучении omni-modal LLMs. Кроме того, VeOmni обеспечивает гибкую настройку, позволяя легко добавлять новые модели с минимальным кодовым изменением. Тестирование показало, что VeOmni обеспечивает высокую производительность: 30B-параметровый модельный хранилищ поддерживает обучение с 2,800 токенами/секунду/GPU и достигает 160K контекстных длин на 128 GPU. Это открывает новые возможности для эффективного обучения omni-modal LLMs с большими моделями и длинными контекстами.
Abstract
Recent advances in large language models (LLMs) have driven impressive
progress in omni-modal understanding and generation. However, training
omni-modal LLMs remains a significant challenge due to the heterogeneous model
architectures required to process diverse modalities, necessitating
sophisticated system design for efficient large-scale training. Existing
frameworks typically entangle model definition with parallel logic, incurring
limited scalability and substantial engineering overhead for end-to-end
omni-modal training. We present VeOmni, a modular and efficient training
framework to accelerate the development of omni-modal LLMs. VeOmni introduces
model-centric distributed recipes that decouples communication from
computation, enabling efficient 3D parallelism on omni-modal LLMs. VeOmni also
features a flexible configuration interface supporting seamless integration of
new modalities with minimal code change. Using VeOmni, a omni-modal
mixture-of-experts (MoE) model with 30B parameters can be trained with over
2,800 tokens/sec/GPU throughput and scale to 160K context lengths via 3D
parallelism on 128 GPUs, showcasing its superior efficiency and scalability for
training large omni-modal LLMs.
Ссылки и действия
Дополнительные ресурсы: