#### Контекст Современные языковые модели (LLM) широко используются в различных областях, от работы с текстом до решения комплексных задач. Однако существуют значительные проблемы в их развертывании и сервисинге, особенно в ситуациях, когда требуется высокая производительность и минимальная задержка. Одним из основных ограничений является высокая задержка в процессе декодирования, которая возникает из-за того, что генерация токенов занимает долгое время и требует большого объема ресурсов. Кроме того, на устройствах с ограниченными ресурсами, задержка в первом токене (TTFT) увеличивается с ростом продолжительности промота. Данные проблемы требуют эффективных решений для повышения производительности и снижения задержек в работе с LLM. #### Метод Предлагаемый подход, P/D-Device, предполагает разделение LLM между облаком и устройствами. Облако отвечает за часть процесса предварительной загрузки (prefill), при этом устройство получает первый токен и начинает декодировать независимо. Для сглаживания производительности используется контроль скорости (speed controller), который распределяет токены от облака к устройству по мере необходимости. За счет этого устройства может продолжать работу, не ожидая полной загрузки всех токенов. Также во время процесса декодирования в облаке происходит доработка промота, что дает дополнительную скорость при дальнейшем декодировании. Такая архитектура позволяет максимально эффективно использовать ресурсы, уменьшая задержки и увеличивая производительность. #### Результаты Проводились эксперименты с реальными данными, когда были оценены показатели TTFT (задержка в первом токене), максимальное значение TPOT (время затраченного на вывод каждого токена) и общая производительность облака. Результаты показали, что TTFT сократился в 6 раз или более, максимальное значение TPOT составило десятки миллисекунд, а производительность облака увеличилась до 15 раз. Эти результаты подтверждают значительное улучшение производительности в сравнении с другими альтернативными подходами. #### Значимость Прототип P/D-Device может быть применен в различных сферах, где требуется высокая производительность и минимальная задержка, например, в реальном времени, при работе с мобильными приложениями или в ситуациях, когда требуется высокая производительность систем с ограниченными ресурсами. Этот подход позволяет значительно улучшить темпы работы, уменьшить задержки и эффективнее использовать ресурсы. Будущие исследования будут сконцентрированы на оптимизации алгоритмов, улучшении скорости предварительной загрузки и расширении возможностей для различных типов моделей. #### Выводы Рез