Amber Pruner: Leveraging N:M Activation Sparsity for Efficient Prefill in Large Language Models

#### Контекст Современные большие языковые модели (LLMs) требуют огромных ресурсов для обучения и работы в реальном времени. Новации в сжатии моделей, такие как сжатие весов (weight sparsity) или активаций (activation sparsity), позволяют эффективно снизить потребление ресурсов. Однако большинство методов сжатия требуют дополнительного обучения модели или приводят к существенному снижению качества работы. Эти ограничения становятся критичными при оптимизации LLMs в сценариях, где необходимо быстрое выполнение или ограниченные ресурсы, такие как мобильные устройства или высоконагруженные сервера. #### Метод Amber Pruner представляет собой метод сжатия активаций (activation sparsity), основанный на подходе N:M, применяемый к процессу предобученных моделей, без дополнительного обучения. Он фокусируется на ускорении процесса предобработки (prefill), особенно в слоях линейной проекции (linear projection), которые являются одними из наиболее трудоемких в LLMs. Алгоритм использует динамическую характеристику активаций для определения структурного сжатия, что позволяет уменьшить количество вычислений без ущерба качеству. Кроме того, Amber Pruner объединяется с пост-обучающим сжатием (post-training quantization) в рамках универсального фреймфорка Outstanding-sparse, который поддерживает работу с сжатыми моделями в режиме 8-бит (W8A8) без потерь качества. Этот подход позволяет значительно ускорить работу моделей в широком круге сценариев применения. #### Результаты Эксперименты проводились на нескольких моделях LLMs, включая те, которые используются в реальной среде. Были протестированы различные степени сжатия (N:M спарсинг 2:4, 4:8, 8:16). Результаты показали, что Amber Pruner ускоряет вычисления на более чем 55% без снижения качества работы. Особенно выдающимися результатами выступает сценарий предобработки (prefill), где главной задачей является решение структурных задач без тренировки модели. Добавление Outstanding-sparse позволяет повысить уровень универсальности и эффективности работы моделей, специально для задач генерации и контекстно-зависимых задач. #### Значимость Amber Pruner и Outstanding-sparse открывают новые возможности для сжатия LLMs в реальном времени. Эти методы позволяют существенно уменьшить потребление памяти и вычислительных ресурсов, что делает модели более доступными для использования на мобильных устройствах, на низкопроизводительных серверах и в сетевых сценариях с ограниченными потоками. Этот подход может открыть путь к универсальным архитектурам AI, где сжатость и производительность будут достигать новых высот. #### Выводы Результаты Amber Pruner показывают, что технологии N:M sparsity могут использоваться для эф