Explaining How Quantization Disparately Skews a Model

#### Контекст Модели глубинного обучения широко применяются в различных областях, но их размер и сложность часто ограничивают их эффективность в реальных ситуациях. Post Training Quantization (PTQ) является популярным способом уменьшить размер модели, ускорить ее вычисления и сократить необходимую память, при этом с минимальным влиянием на точность. Однако, несмотря на эти преимущества, PTQ может привести к неожиданным негативным последствиям, в частности к расширению социально-экономических различий в различных подгруппах. Это наблюдение подчеркивает важность понимания того, как PTQ влияет на различные группы пользователей, и разработки методов для устранения этих недостатков. #### Метод Мы проводим тщательную аналитическую и экспериментальную исследовательскую работу, чтобы раскрыть внутренние механизмы, приводящие к расхождению в поведении модели во время PTQ. Архитектура нашего исследования включает в себя мониторинг изменений весов и активаций модели в процессе quantization, а также изучение градиентов, гессианов и логитов. Мы используем различные данные, включая обучающие и тестовые выборки, чтобы проверить нашу теорию и измерить соответствующие индикаторы. Таким образом, мы получаем подробное представление о том, как quantization сказывается на различных группах данных. #### Результаты Наши эксперименты показали, что quantization приводит к уменьшению точности модели для менее часто встречающихся групп, что связано с изменением весов и активаций. Мы наблюдаем увеличение потерь и достигаем более низкую точность для групп, подверженных расхождениям. Также, исследование градиентов и гессиан-матрицы позволило нам увидеть, как quantization влияет на этапы обучения и вкладывает в него необратимые ошибки. Эти наблюдения позволяют понять, почему модели, полученные через PTQ, могут проявлять различия в конкретных подгруппах. #### Значимость Наши результаты имеют значительное значение для разных областей, включая медицину, финансы, транспорт и социальные сети. Они помогают продвинуть направления в разработке справедливых решений для различных групп пользователей. Мы показываем, что стратегии, такие как mixed precision Quantization Aware Training (QAT), интеграция данных с разными семантическими группами и добавление весов в loss-функцию, могут существенно улучшить справедливость моделей на данных, полученных через quantization. #### Выводы Мы установили, что quantization может привести к разрыву в поведении модели, больше вредным для небольших и менее часто встречающихся групп. Наше исследование подчеркивает важность разработки систем, учитывающих эти особенности. Мы предлагаем расширенные методы, такие как mixed precision QAT, чтоб