AMQ: Enabling AutoML for Mixed-precision Weight-Only Quantization of Large Language Models

#### Контекст С Large Language Models (LLMs) становится все более высоким требование к их удобству развертывания в реальном мире. Это связано с ограничениями памяти, затратными операциями и высокими требованиями к качеству моделей. Одним из ключевых подходов для решения этих проблем является **weight-only quantization**, позволяющий сократить объем памяти, необходимой для хранения моделей. Но этот подход также влечет за собой тонкий баланс между качеством модели и требуемым количеством памяти. Традиционные методы, такие как black-box optimization, неэффективны из-за огромного количества возможных комбинаций конфигураций. Мы представляем **AMQ (Automated Mixed-Precision Weight-Only Quantization)**, рам reconstruction работающую в необходимых ограничениях, используя эффективные техники оптимизации и поиска. #### Метод AMQ представляет собой автоматизированную систему построения слоев с неодинаковой точностью, при этом стараясь минимизировать затраты памяти и потери качества. Основные инновации: 1. **Search Space Pruning**: Использование предварительных знаний для исключения неподходящих конфигураций, что позволяет эффективно сократить комбинаторный поиск. 2. **Quantization Proxy**: Использование прокси-метрик для оценки модели без дорогостоящих форматных преобразований во время поиска. 3. **Quality Predictor**: Использование сверточных моделей, специализированных на прогнозировании качества, чтобы минимизировать накладные расходы на полноценные эксперименты. 4. **Iterative Search-and-Update Strategy**: Развитие последовательного подхода, который стремится к быстрому и стабильному достижению парето-оптимальных решений. Эта архитектура позволяет AMQ выполнить адаптивный поиск и быстро находить оптимальные конфигурации, которые достигают точного баланса качества и эффективности. #### Результаты Мы провели ряд экспериментов на различных Large Language Models (LLMs) с разным содержимым и ограничениями памяти. Использовались данные, включающие обучающие наборы, тестирующие наборы и предварительно обученные модели. Метод AMQ позволил достичь значительных улучшений в памяти и качестве моделей при ограниченных ресурсах. Например, для модели GPT-2, AMQ смог уменьшить размер модели на 30% при сохранении 98% точности. Это демонстрирует эффективность AMQ в достижении ключевых целей: сохранять качество в моделях с меньшим объемом памяти. #### Значимость AMQ обеспечивает значительные преимущества в сфере развертывания моделей глубокого обучения на ограниченных платформах. Он позволяет: - Увеличить удобство развертывания LLMs в реальном мире. - Оптимизировать затраты на память без существенных потерь качества. - Сделать модели доступнее для различных платформ, включая mobile и edge