DPQuant: Efficient and Differentially-Private Model Training via Dynamic Quantization Scheduling

## Контекст Differentially-Private Stochastic Gradient Descent (DP-SGD) является важной методикой для защиты конфиденциальности при обучении нейронных сетей с использованием чувствительных данных. Однако обучение с помощью DP-SGD чревато высокими затратами на вычисления и энергией. Для устранения этой проблемы широко распространенным решением является использование низкопрецизионного представления моделей, включая веса и активации. Эта техника, называемая quantization, позволяет значительно сократить время обучения, энергопотребление и затраты. Однако, при обучении DP-SGD, внедрение шума, характерное для этого подхода, сильно усиливает вариацию, вызванную низкопрецизионным представлением, что приводит к более существенной ухудшению точности модели. Мы рассматриваем эту проблему, а также предлагаем решение, которое позволяет сочетать эффективность и чувствительность к приватности в обучении моделей. ## Метод Мы предлагаем QPQuant, динамическую систему адаптивной quantization-схемы, которая адаптирует состав выбранных для quantization слоев на каждой эпохе обучения. Наш подход основывается на двух основных компонентах: (i) вероятностная семуляция, позволяющая каждой эпохе поворачивать, какие слои будут quantized, и (ii) loss-aware layer prioritization, которая использует применение частично дифференциальной конфиденциальности (DP) для оценки сенситивности весов каждого слоя. Оценка сенситивности потребляет незначительную часть общего бюджета конфиденциальности, сохраняя при этом гарантии защиты приватности. Эта стратегия позволяет адаптироваться к характеристикам модели и данных, сводя к минимуму ущерб от quantization к модели. ## Результаты Мы проводим эксперименты с QPQuant на топовых моделях, таких как ResNet18, ResNet50, и DenseNet121, используя наборы данных ImageNet, CIFAR-10 и CIFAR-100. Наши результаты показывают, что QPQuant обеспечивает более высокую точность по сравнению с статическими схемами quantization, сохраняя при этом высокую эффективность. Мы получаем до 2.21x увеличения пропускной способности на низкопрецизионном железе, с менее чем 2% ухудшением точности на валидации. Эти результаты демонстрируют значительные преимущества QPQuant перед существующими методами, которые не так эффективно решают проблему влияния quantization на DP-SGD. ## Значимость Наш подход имеет широкие применения в области защиты приватности при обучении моделей, особенно в сценариях, где высокая точность и эффективность критичны. Это включает такие области, как здравоохранение, финансы и юридические системы, где обеспечение конфиденциальности и высокая производительность являются ключевыми. Эффективность QPQuant позволяет сократить затраты на обучение и