ZORRO: Zero-Knowledge Robustness and Privacy for Split Learning (Full Version)

#### Контекст Split Learning (SL) — это распределенный метод обучения, который позволяет ресурсо-ограниченным клиентам совместно обучать модели глубоких нейронных сетей (DNN), передавая на сервер большую часть слоев, а оставшуюся часть (входные и выходные слои) оставляя на клиентском устройстве. Этот подход позволяет использовать вычислительные мощности сервера без разглашения данных, что делает SL особенно эффективным в средах с ограниченными ресурсами, где данные являются секретными. Однако распределенная природа SL делает его уязвимым перед атаками клиентов, которые могут инжектировать токсичные intermediate gradients, что приводит к внедрению backdoors в общую модель. Дефензы SL, существующие на сегодняшний день, ограничиваются внутренним защитой сервера и не гарантируют безопасности клиентов. #### Метод Мы предлагаем ZORRO — Zero-Knowledge Robustness and Privacy для Split Learning. ZORRO является частично централизованной системой, в которой клиенты обучают модели с использованием zero-knowledge proofs (ZKPs) для того, чтобы доказать интегритность своего локального обучения. ZORRO включает в себя новоструктурированный подход к решению проблемы токсичности intermediate gradients. Мы визуализируем intermediate results с помощью градиентной представления в фазовой сфере и применяем технологии ZKPs для верификации того, что обновленный локальный модельный чекпойнт является безопасным и не содержит backdoors. #### Результаты Мы провести ряд экспериментов, включая различные модели, такие как ResNet, и различные атаки, такие как backdoor и poisoning. В результате, ZORRO существенно снижает успешность атак, до 6%, при этом быстродействие теряется всего на 10 секунд для моделей с миллионом параметров. Это показывает, что ZORRO эффективно обеспечивает безопасность клиентов, не приводя к существенному замедлению тренировки. #### Значимость ZORRO может быть применено в ситуациях, где клиенты не доверяют друг другу, но все же нуждаются в обучении моделей вместе. Он привносит новый уровень прозрачности в обучение, доказывая безопасность и интегритность клиентских моделей. ZORRO широко применим в таких областях, как секретное обучение, медицинские изображения, и другие секретные задачи, где защита данных ключевая. #### Выводы ZORRO доказывает, что можно обеспечить безопасность и интегритность в распределенном обучении без дополнительного грузинга сервера. Дальнейшие исследования будут ориентированы на улучшение ZKPs для более сложных моделей и расширение ZORRO для ситуаций, когда клиенты имеют разные модели.