Train to Defend: First Defense Against Cryptanalytic Neural Network Parameter Extraction Attacks

## Контекст Neural networks являются ценнейшей интеллектуальной собственностью, так как их разработка требует значительных вычислительных ресурсов, экспертных трудозатрат и защищенных данных. Однако их параметры широко распространяются в сети, что приводит к угрозам криптоаналитических атак, нацеленных на их извлечение. Эти атаки могут быть применены для получения копии модели, что негативно сказывается на конкурентной позиции разработчика и на системе безопасности модели. Тем не менее, существующие методы защиты, такие как преобразования и уплотнения, оказываются неэффективными против сложных криптоаналитических атак, которые способны работать с более глубокими моделями. Таким образом, необходимо разработать надежный метод защиты, который не ослабляет модель и позволяет защитить ее параметры от извлечения. ## Метод Предложенный метод, названный **Extraction-Aware Training (EAT)**, представляет собой новую методологию обучения для защиты моделей. Основная идея заключается в изменении стандартной функции потерь с помощью добавления регуляризационного слагаемого, минимизирующего расстояние между весами нейронов в каждом слое. Это приводит к снижению уникальности нейронов, что становится критически важно для криптоаналитических атак, так как они опираются на уникальные отклики нейронов. Эта методика добавляется к стандартному обучению и не требует дополнительных ресурсов во время выполнения модели. Реализация EAT была протестирована на различных архитектурах и датасетах, и продемонстрировала высокую эффективность в защите от криптоаналитических атак. ## Результаты На ряде экспериментов было продемонстрировано, что модели, обученные с помощью EAT, показывают минимальные изменения в точности (менее 1%) по сравнению с незащищенными моделями. В то же время протестирована ее эффективность на разных атаках: в теоретическом рамке была определена вероятность успешного извлечения параметров, а в практических условиях было продемонстрировано, что модели, обученные EAT, выдерживают атаки до 4 часов, в то время как незащищенные модели ломаются в течение 14 минут-4 часов. Это указывает на высокую надежность EAT в защите параметров модели. ## Значимость Защитный метод EAT может быть применен в сферах, где защита параметров модели критична, таких как финансовые системы, медицинская интеллектуальная собственность и робототехника. Он позволяет усилить защиту моделей без изменения характеристик производительности и вычислительного времени. Благодаря уникальности этого подхода, он способен стать ключевым элементом в стратегии защиты моделей от криптоаналитических атак. Такж