Interpreting the Effects of Quantization on LLMs

## Контекст Quantization является практическим методом для развертывания больших языковых моделей (LLMs) в условиях ограниченных ресурсов. Однако, несмотря на свою полезность, влияние quantization на внутренние представления LLMs до сих пор является нерешенным вопросом. Это влечет за собой риск недостоверности результатов, что может оказаться критичным для задач, требующих высокой точности. Наша исследовательская цель состоит в том, чтобы узнать, насколько quantization влияет на модельные представления и поведение нейронов модели с помощью различных interpretability методов. Мы рассмотрим LLMs различных размеров и подвергнем их 4-битной и 8-битной quantization. Ожидается, что результаты нашего исследования помогут направить дальнейшие исследования в области model compression. ## Метод Мы разработали оптимизированный подход к изучению влияния quantization на LLMs, используя несколько interpretability техник. Модели были тренированы и проверены с разными глубинами quantization (4-бит и 8-бит). Мы анализировали внутренние представления моделей, включая вклад каждого нейрона в прогнозы, жизнеспособность нейронов (то есть, степень их активности) и оценки модели калибровки (точности и уверенности). Наши эксперименты были проведены на нескольких уже существующих LLMs в разных конфигурациях, чтобы обеспечить широкий перехват влияния quantization. ## Результаты Наши результаты показали, что quantization оказывает минимальное влияние на калибровку моделей. Мы также отметили, что число мёртвых нейронов (нейронов, чьи активации находятся вблизи нуля на всей выборке) остается постоянным при quantization, независимо от размера модели. Однако, мы обнаружили, что размер модели влияет на количество значимых нейронов. Например, меньшие модели (например, 7B Llama-2) имеют меньше сильно влияющих нейронов, в то время как более крупные модели (например, Llama-2-62B) проявляют более развитую сетку сигналов. Несмотря на это, поведение нейронов в целом сохраняется в основном без существенных изменений при quantization. ## Значимость Наши находки могут быть применены для улучшения развертывания LLMs в реальном мире, особенно на устройствах с ограниченным объёмом памяти и вычислительной мощности. Мы показали, что quantization не приводит к существенным потерям в точности и калибровке, что делает его надежным способом model compression. Это открывает новые пути для использования quantization в области мобильных приложений, низкопитающих устройств и IoT-систем. Будущие исследования могут быть направлены на расширение нашего подхода для более глубокого понимания работы нейронов под влиянием quantization. ## Выводы Мы сделали важные открытия, показав, что quantization в целом не является вредным для моделей и их представл