No Prior, No Leakage: Revisiting Reconstruction Attacks in Trained Neural Networks

## Контекст Современные нейронные сети показали замечательные результаты в области машинного обучения, но при этом сталкиваются с значительными проблемами, связанными с приватностью и безопасностью. Одним из ключевых аспектов является **запоминание тренировочных данных** сетями, что может привести к утечке конфиденциальной информации. Недавние исследования показали, что некоторые атаки могут восстановить части тренировочного набора данных непосредственно из параметров сети. Эти методы часто используют ускорение обучения, основанное на максимизации маржинала, что демонстрирует взаимосвязь между устойчивостью к атакам и высоким уровнем общезначимости модели. Тем не менее, на сегодняшний день, эти атаки слабо обоснованы теоретически, а их надежность и ограничения не понятны до конца. В нашей работе мы взглянем на эту проблему с другой стороны, изучив уязвимости и ограничения существующих атак, а также изучив условия, при которых они могут быть неустойчивы. ## Метод Мы применяем **аналитические методы** для рассмотрения базовых свойств моделей и **эмпирические эксперименты** для проверки наших теоретических выводов. Наша модель является обычной нейронной сетью, обученной на задаче классификации, с использованием различных архитектур и настроек. Мы используем методы **gradient descent** для моделирования атак и применяем методы **theoretical bounds** для проверки устойчивости атак в теории. Основной целью нашей работы является изучение условий, под которыми **reconstruction attacks** могут быть неустойчивыми, и определение условий для повышения приватности модели. ## Результаты Мы проводим ряд экспериментов на различных датасетах, таких как **CIFAR-10** и **Fashion-MNIST**, используя разные архитектуры нейронных сетей. Наши результаты показывают, что **reconstruction attacks** могут быть неустойчивы, если не использовать дополнительные предположения о тренировочных данных. Мы доказываем, что в случае отсутствия дополнительных знаний, есть **неограниченное количество решений**, которые могут быть арбитрарно далеки от истинного тренировочного набора. Эмпирические результаты также показывают, что **exact duplication** тренировочных примеров происходит только в редких случаях, что демонстрирует слабость существующих атак. Мы также проверяем, как **more extensive training** может повлиять на устойчивость модели к атакам, и обнаруживаем, что более тщательно обученные модели, на самом деле, являются **less vulnerable** к таким атакам, что является неожиданным результатом. ## Значимость Наше исследование имеет **практическое значение** для понимания условий, при которых могут возникать **privacy leaks** в нейронных сетях. Мы показываем, что **без допол