Frontier: Simulating the Next Generation of LLM Inference Systems

**Резюме** С появлением Mixture-of-Experts (MoE) моделей и распределенных архитектур, таких как разделение префилла и декодирования (PD) или аттенции и FFN (AF), интерпретировать и оптимизировать LLM-инференс стало сложнее. Традиционные симуляторы, разработанные для колоколонокных моделей, не могут адекватно описывать сложные системные динамики новых архитектур. Мы предлагаем систему Frontier, разработанную специально для моделирования систем с новыми парадигмами LLM-инференса. Frontier предлагает унифицированный фреймворк для моделирования колоколоночных и распределенных систем, включая MoE-инференс с экспертной параллелизмой. Он поддерживает моделирование сложных рабочих процессов, таких как кросс-кластерный роутинг экспертов и расширенные стратегии пайплайнинга. Для повышения точности и удобства Frontier включает усовершенствованные модели операторов. Это система, которая позволяет комьюнити разрабатывать и оптимизировать будущее технологий для LLM-инференса в масштабах.