ClusterFusion: Expanding Operator Fusion Scope for LLM Inference via Cluster-Level Collective Primitive

## Контекст Large language model (LLM) decoding представляет собой вычислительно тяжелую задачу, которая часто сталкивается с проблемами высокой задержки и ограниченной эффективностью. Основная причина этого является разрозненной интерпретацией операторов, обусловленной их различными характеристиками, и значительной зависимостью от внешней памяти для обмена и суммирования данных. Эта ситуация ставит перед разработчиками трудности в масштабировании и оптимизации вычислений. Добавляется к этому значительный объем трафика памяти и целей для запуска ядер, что делает систему менее эффективной. Однако современные архитектуры, такие как NVIDIA Hopper, предоставляют распределенный общий доступ к памяти и низкозадерживающие интерконнекты между кластерами. Тем не менее, они предоставляют только низкоуровневые команды для перемещения данных, не имея структурированных абстракций для коллективных операций в пределах кластера. Из-за этого отсутствия, потенциал кластера остается недостижимым. Мы предлагаем ClusterFusion, чтобы решить эти проблемы. ## Метод ClusterFusion предлагает два ключевых кластер-уровневых абстракций: ClusterReduce и ClusterGather. Эти примитивы абстрагируют типичные шаблоны коммуникации и обеспечивают эффективную передачу и суммирование данных в пределах кластера. Они позволяют выполнить на чипе все необходимое для вычислений, не подразумевая обращение к внешней памяти. Эти примитивы интегрируются в ClusterFusion, архитектуру, которая управляет расписанием работы во время выполнения. Она стремится расширить объем возможного совмещения операторов, объединяя такие этапы, как проекция QKV, атанк, и выходные проекции, в один fussed kernel. Эта модель позволяет уменьшать задержки и увеличивать эффективность, позволяя операциям быть более структурированными и быстрыми. ## Результаты Мы проверили ClusterFusion на H100 GPU и сравнили его с современными фреймворками для вывода LLM. Эксперименты показали, что ClusterFusion уменьшает задержку в среднем на 1.61x, оптимизируя работу над различными моделями и конфигурациями. Эти результаты достигаются благодаря улучшенной структуре и эффективной интеграции коммуникации и вычислений. Наши результаты подтверждают, что ClusterFusion значительно улучшает производительность в различных условиях. ## Значимость ClusterFusion может применяться в различных областях, где требуется высокая эффективность вывода LLM, таких как разработка новых технологий для глубокого обучения, реализация моделей для трансляции и синтеза речи, а также применение в системах рекомендаций и синтетического текста. Это решение отличается своей высокой масштабируемостью, меньшим требо