Dynamic Sparse Attention on Mobile SoCs

#### Контекст Современные технологии требуют высокой производительности и эффективности для обработки больших объемов данных в реальном времени. Одной из ключевых проблем является улучшение производительности мобильных систем на чипсетах (SoCs) при обработке больших языковых моделей (LLMs) с помощью динамической вакуументной паутины (sparse attention). Обычно, данные задачи выполняются на специализированных аппаратных устройствах, таких как NPUs (Neural Processing Units), однако, из-за недостаточной совместимости со стандартными фреймворками, таким образом, выполнение решается на CPU или GPU, что приводит к ухудшению производительности и увеличению сложности системного управления. #### Метод Для решения этой проблемы был разработан алгоритм shadowAttn, который представляет собой систему-алгоритм, широко использующую динамическую вакуументную паутину для выполнения задач на мобильных SoCs. Основная идея состоит в том, чтобы оптимизировать вычисления с помощью NPU-based pilot compute, что позволяет скрыть затраты на оценку важных токенов. Для того, чтобы добиться максимальной эффективности, были внедрены такие техники, как компиляция NPU-графов, ветвенное распределение задач между NPU и CPU/GPU, а также настройка точности спарсинга на каждой голове. Эта стратегия позволяет достичь высокой точности и снизить затраты на ресурсы CPU/GPU. #### Результаты В ходе экспериментов были сравнены результаты shadowAttn с современными алгоритмами, работающими с LLM. Использовались стандартные данные для оценки производительности и эффективности. shadowAttn демонстрирует значительное улучшение производительности, работая намного быстрее традиционных методов, при этом уменьшая объем вычислений на CPU/GPU. Это приводит к увеличению эффективности и снижению нагрузки на систему. #### Значимость shadowAttn может быть применен в различных областях, таких как мобильные приложения, игровые приложения, ИИ-экспертиза и системы управления. Его основные преимущества заключаются в увеличении производительности, уменьшении затрат на ресурсы CPU/GPU и улучшении системного управления. Это может привести к более эффективным и удобным мобильным приложениям, а также к уменьшению энергопотребления и снижению затрат на вычисления. #### Выводы shadowAttn достигает существенных улучшений в производительности и эффективности за счет динамической вакуументной паутины. Он показывает, что мобильные системы могут выполнять LLM-задачи с повышенной эффективностью, не теряя в качестве. В будущих исследованиях планируется расширить возможности shadowAttn, оптимизировав его для широкого круга приложений, а также изучить его потенциал в области смарт-устройств и распределенных