P/D-Device: Disaggregated Large Language Model between Cloud and Devices
2508.09035v1
cs.DC, cs.CL, cs.LG
2025-08-14
Авторы:
Yibo Jin, Yixu Xu, Yue Chen, Chengbin Wang, Tao Wang, Jiaqi Huang, Rongfei Zhang, Yiming Dong, Yuting Yan, Ke Cheng, Yingjie Zhu, Shulan Wang, Qianqian Tang, Shuaishuai Meng, Guanxin Cheng, Ze Wang, Shuyan Miao, Ketao Wang, Wen Liu, Yifan Yang, Tong Zhang, Anran Wang, Chengzhou Lu, Tiantian Dong, Yongsheng Zhang, Zhe Wang, Hefei Guo, Hongjie Liu, Wei Lu, Zhengyong Zhang
Резюме на русском
#### Контекст
Современные языковые модели (LLM) широко используются в различных областях, от работы с текстом до решения комплексных задач. Однако существуют значительные проблемы в их развертывании и сервисинге, особенно в ситуациях, когда требуется высокая производительность и минимальная задержка. Одним из основных ограничений является высокая задержка в процессе декодирования, которая возникает из-за того, что генерация токенов занимает долгое время и требует большого объема ресурсов. Кроме того, на устройствах с ограниченными ресурсами, задержка в первом токене (TTFT) увеличивается с ростом продолжительности промота. Данные проблемы требуют эффективных решений для повышения производительности и снижения задержек в работе с LLM.
#### Метод
Предлагаемый подход, P/D-Device, предполагает разделение LLM между облаком и устройствами. Облако отвечает за часть процесса предварительной загрузки (prefill), при этом устройство получает первый токен и начинает декодировать независимо. Для сглаживания производительности используется контроль скорости (speed controller), который распределяет токены от облака к устройству по мере необходимости. За счет этого устройства может продолжать работу, не ожидая полной загрузки всех токенов. Также во время процесса декодирования в облаке происходит доработка промота, что дает дополнительную скорость при дальнейшем декодировании. Такая архитектура позволяет максимально эффективно использовать ресурсы, уменьшая задержки и увеличивая производительность.
#### Результаты
Проводились эксперименты с реальными данными, когда были оценены показатели TTFT (задержка в первом токене), максимальное значение TPOT (время затраченного на вывод каждого токена) и общая производительность облака. Результаты показали, что TTFT сократился в 6 раз или более, максимальное значение TPOT составило десятки миллисекунд, а производительность облака увеличилась до 15 раз. Эти результаты подтверждают значительное улучшение производительности в сравнении с другими альтернативными подходами.
#### Значимость
Прототип P/D-Device может быть применен в различных сферах, где требуется высокая производительность и минимальная задержка, например, в реальном времени, при работе с мобильными приложениями или в ситуациях, когда требуется высокая производительность систем с ограниченными ресурсами. Этот подход позволяет значительно улучшить темпы работы, уменьшить задержки и эффективнее использовать ресурсы. Будущие исследования будут сконцентрированы на оптимизации алгоритмов, улучшении скорости предварительной загрузки и расширении возможностей для различных типов моделей.
#### Выводы
Рез
Abstract
Serving disaggregated large language models has been widely adopted in
industrial practice for enhanced performance. However, too many tokens
generated in decoding phase, i.e., occupying the resources for a long time,
essentially hamper the cloud from achieving a higher throughput. Meanwhile, due
to limited on-device resources, the time to first token (TTFT), i.e., the
latency of prefill phase, increases dramatically with the growth on prompt
length. In order to concur with such a bottleneck on resources, i.e., long
occupation in cloud and limited on-device computing capacity, we propose to
separate large language model between cloud and devices. That is, the cloud
helps a portion of the content for each device, only in its prefill phase.
Specifically, after receiving the first token from the cloud, decoupling with
its own prefill, the device responds to the user immediately for a lower TTFT.
Then, the following tokens from cloud are presented via a speed controller for
smoothed TPOT (the time per output token), until the device catches up with the
progress. On-device prefill is then amortized using received tokens while the
resource usage in cloud is controlled. Moreover, during cloud prefill, the
prompt can be refined, using those intermediate data already generated, to
further speed up on-device inference. We implement such a scheme P/D-Device,
and confirm its superiority over other alternatives. We further propose an
algorithm to decide the best settings. Real-trace experiments show that TTFT
decreases at least 60%, maximum TPOT is about tens of milliseconds, and cloud
throughput increases by up to 15x.
Ссылки и действия
Дополнительные ресурсы: