Efficient Edge LLMs Deployment via HessianAware Quantization and CPU GPU Collaborative

## Контекст Большие языковые модели (LLMs) достигли существенных успехов в области естественного языкового обработки и мультимодальных задач. Однако их эффективное развертывание на ресурс-ограниченных устройствах, таких как смартфоны или накопители, представляет собой значительную сложность. Это вызвано тем, что модели становятся все более объемными, что приводит к высоким затратам на память и вычислительные ресурсы. Например, Микситура 8*7B требует до 40 ГБ памяти для работы, что превышает ресурсы большинства ресурс-ограниченных устройств. Для компенсации этих трудностей, широко используется архитектура Mixture of Experts (MoE), которая позволяет увеличить модельную мощность с помощью весовой спарсивания. Однако, это подход имеет несколько проблем: (1) Использование многобитного представления активаций и весов приводит к высоким затратам на память и неэффективности; (2) Отклонения в распределениях активаций приводят к потерям точности при интерпретации модели. Наша мотивация заключается в разработке эффективного метода развертывания MoE на ресурс-ограниченных устройствах, который решает эти проблемы. ## Метод Мы предлагаем метод, основанный на гессиан-сознательной квантообработке (Hessian-Aware Quantization, HAQ) и коллаборативном выполнении на CPU и GPU. Основные элементы этого метода: (1) **Гессиан-сознательная квантообработка**: Мы используем гессиан-сознательную квантообработку для объединенного 8-битного представления активаций и весов. Это позволяет уменьшить потерю точности, вызванную отклонениями в распределениях, и обеспечивает эффективный инструмент для работы на массовых устройствах. (2) **Коллаборативная оффлоадинг и инференс**: Мы разработали механизм специальной оффлоадинга и инференса моделей MoE на CPU и GPU. Этот механизм использует статистику потока активаций для оптимального распределения ресурсов между CPU и GPU, чтобы снизить задержки и использование памяти. ## Результаты Мы проверили наш метод на основных моделях, таких как OPT и Mixtral 8*7B. Эксперименты проводились на датасетах Wikitext2 и C4. Наши результаты показывают, что: (1) Модель с 8-битным представлением показывает почти такую же точность, как полноточная модель; (2) Использование памяти GPU уменьшилось примерно на 60%; (3) Задержка инференса была значительно сокращена. Эти результаты подтверждают эффективность нашего метода в реализации эффективного развертывания MoE на ресурс-ограниченных устройствах. ## Значимость Наш метод имеет значительные применения в следующих областях: (1) **Мобильные устройства**: Эф